Zen: 1T+ पैरामीटर वाली मिश्रित-विशेषज्ञ वास्तुकला

Zen, Hanzo का प्रमुख भाषा-मॉडल परिवार है। सबसे बड़ा मॉडल, zen4-ultra, 1.04 खरब पैरामीटर की मिश्रित-विशेषज्ञ वास्तुकला है जो हर आगे की चाल में 140B पैरामीटर सक्रिय करती है। यह तीन वर्षों के मॉडल विकास की परिणति है, zen-nano (600M) से वर्तमान zen4 परिवार तक।

यह लेख वास्तुकला, प्रशिक्षण पद्धति, और वह शृंखला-पर सत्यापन बताता है जो Zen मॉडल को लेखा-परीक्षण योग्य बनाता है।

वास्तुकला

Zen4-ultra विरल मिश्रित-विशेषज्ञ वास्तुकला का उपयोग करता है। मूल डिज़ाइन:

कुल पैरामीटर: 1.04T
प्रति टोकन सक्रिय पैरामीटर: ~140B (13.5% सक्रियता अनुपात)
विशेषज्ञ: प्रत्येक मिश्रित परत में 128 विशेषज्ञ, top-8 मार्गनिर्धारण
परतें: 96 ट्रांसफॉर्मर परतें, हर दूसरी परत मिश्रित विशेषज्ञ है (48 मिश्रित परतें, 48 सघन)
संदर्भ खिड़की: 256K टोकन (YaRN स्थितीय अंतर्वेशन)
शब्दावली: 152K टोकन (बहुभाषी BPE)

मिश्रित-विशेषज्ञ मार्गनिर्धारण एक सीखा हुआ गेटिंग नेटवर्क उपयोग करता है, सहायक भार-संतुलन हानि के साथ, ताकि विशेषज्ञ ढहें नहीं। प्रत्येक विशेषज्ञ SwiGLU सक्रियण वाली मानक अग्र-पोषण नेटवर्क (FFN) है। राउटर प्रत्येक टोकन के लिए 128 में से 8 विशेषज्ञ चुनता है: जटिल तर्क पैटर्न पकड़ने जितनी विविधता, और गणना संभलने लायक।

मिश्रित विशेषज्ञ क्यों

सघन मॉडल रैखिक बढ़ते हैं: 2x पैरामीटर का अर्थ है प्रति टोकन 2x गणना। मिश्रित विशेषज्ञ यह संबंध तोड़ते हैं। Zen4-ultra के पास 140B सघन मॉडल के कुल पैरामीटरों का 7.4x है, पर प्रति टोकन अनुमान लागत वही है। अतिरिक्त पैरामीटर क्षमता देते हैं: मॉडल अधिक ज्ञान रखता है और अधिक विविध कार्य संभालता है, बिना आनुपातिक गणना वृद्धि के।

समझौता स्मृति है। सभी 1.04T पैरामीटर लोड करने होते हैं, भले सक्रिय केवल 140B हों। इसके लिए कई नोडों पर वितरित अनुमान चाहिए, और यहीं ACI नेटवर्क आवश्यक हो जाता है।

Zen4 परिवार

मॉडल	कुल पैरामीटर	सक्रिय पैरामीटर	वास्तुकला
zen4-mini	4B	4B	सघन
zen4-base	8B	8B	सघन
zen4-pro	14B	14B	सघन
zen4-max	30B	8B	मिश्रित विशेषज्ञ (32 विशेषज्ञ, top-2)
zen4-coder	80B	20B	मिश्रित विशेषज्ञ (64 विशेषज्ञ, top-4)
zen4-ultra	1.04T	140B	मिश्रित विशेषज्ञ (128 विशेषज्ञ, top-8)

परिवार का हर मॉडल वही टोकनाइज़र, वही ध्यान कार्यान्वयन, और वही प्रशिक्षण-डेटा पाइपलाइन साझा करता है। सघन मॉडल (mini से pro तक) ultra से आसवित हैं, स्वतंत्र रूप से प्रशिक्षित नहीं। इससे पूरे परिवार में व्यवहार एक जैसा रहता है।

मॉडल संलयन

Zen मॉडल यादृच्छिक आरंभीकरण पर शून्य से प्रशिक्षित नहीं होते। वे उच्च प्रदर्शन वाले खुले-भार मॉडलों से जोड़े जाते हैं, एक पद्धति से जिसे हम संरचित ज्ञान हस्तांतरण कहते हैं।

आधार वास्तुकला Qwen3 है। हर Zen मॉडल एक Qwen3 चेकपॉइंट से शुरू होता है। यह Zoo फ़ाउंडेशन नीति के तहत कठोर शासन बाध्यता है (Qwen3+ केवल)। संलयन प्रक्रिया:

वास्तुकला संरेखण: स्रोत मॉडल वास्तुकलाओं को Zen लक्ष्य वास्तुकला पर बिठाया जाता है। मिश्रित-विशेषज्ञ मॉडलों के लिए इसमें सघन मॉडल परतों से विशेषज्ञ आरंभीकरण शामिल है, DROP अपसाइक्लिंग तकनीक से (हमारे लेख में वर्णित Drop-Upcycling: 13B-गुणवत्ता वाले मिश्रित-विशेषज्ञ मॉडल 1/4 लागत पर)।
ज्ञान आसवन: Zen मॉडल को (क) कच्चे पूर्व-प्रशिक्षण डेटा और (ख) स्रोत मॉडलों के शिक्षक आउटपुट के मिश्रण पर प्रशिक्षित किया जाता है। शिक्षक समूह में Qwen3, DeepSeek, और Mistral के वे चेकपॉइंट हैं जो लक्ष्य क्षमताओं पर बेंचमार्क प्रदर्शन से चुने गए।
विशेषज्ञ विशेषज्ञता: प्रारंभिक संलयन के बाद अलग-अलग विशेषज्ञों को क्षेत्र-विशेष डेटा पर सूक्ष्म-समायोजित किया जाता है, गणित, कोड, वैज्ञानिक तर्क, बहुभाषी पाठ, ताकि विशेषज्ञता बढ़े। राउटर क्षेत्र-विशेष टोकन को क्षेत्र-विशेषज्ञों तक भेजना सीखता है।
व्यवहार संरेखण: अंतिम व्यवहार समायोजन के लिए Zoo फ़ाउंडेशन खाते की DSO (विकेंद्रित अर्थ अनुकूलन) अनुभव प्रविष्टियाँ उपयोग होती हैं। यह सामुदायिक शासन परत है: Zen जो व्यवहार दिखाता है वह उन प्रविष्टियों से तय होता है जिन्हें समुदाय ने खाते में मतदान से डाला है।

वितरित प्रशिक्षण

Zen4-ultra का प्रशिक्षण Hanzo Network कंप्यूट क्लस्टरों पर चलता है: नंगे धातु नोड, प्रत्येक में 8x H100 जीपीयू, InfiniBand से जुड़े। प्रशिक्षण ढाँचा:

ढाँचा: सघन परतों के लिए FSDP (पूर्णतः शार्डेड डेटा समानांतर) के साथ PyTorch, मिश्रित परतों के लिए कस्टम विशेषज्ञ-समानांतर शार्डिंग
नोड: पूरे ultra प्रशिक्षण के लिए 512 नोड (4096 H100 जीपीयू)
प्रशिक्षण समय: अंतिम संलयन और विशेषज्ञता चरण के लिए 14 दिन
डेटा: 15T टोकन, प्रतिलिपि-रहित, गुणवत्ता-छने, बहुभाषी (97 भाषाएँ)
चेकपॉइंट: हर 1000 कदम पर, सामग्री-संबोधित हैशिंग के साथ Hanzo Storage पर अपलोड

विशेषज्ञ-समानांतर रणनीति प्रत्येक विशेषज्ञ को एक जीपीयू पर रखती है और टोकन मार्गनिर्धारण के लिए सभी-से-सभी संचार उपयोग करती है। यह डेटा समानांतर से अधिक संचार-भारी है, पर हर जीपीयू पर सभी विशेषज्ञों की प्रतिलिपि की स्मृति लागत बचाती है।

शृंखला पर मॉडल प्रमाण

हर Zen मॉडल चेकपॉइंट का Hanzo Network पर शृंखला-प्रमाण है। प्रमाण में शामिल है:

मॉडल हैश: पूर्ण भार टेन्सर का SHA-256, प्रामाणिक safetensors क्रमांकन से नियतात्मक रूप से गिना गया
प्रशिक्षण विन्यास हैश: पूर्ण प्रशिक्षण विन्यास का SHA-256 (हाइपरपैरामीटर, डेटा मिश्रण, कंप्यूट आवंटन)
बेंचमार्क परिणाम: मानक बेंचमार्क अंक (MMLU, HumanEval, MATH, आदि) जो Zoo फ़ाउंडेशन मूल्यांकन समिति के स्वतंत्र मूल्यांकनकर्ता गिनते हैं
TEE प्रमाण: प्रशिक्षण नोडों से Intel TDX या AMD SEV प्रमाण, जो सिद्ध करता है कि प्रशिक्षण दावा किए गए हार्डवेयर पर दावा की गई कोड से चला

प्रमाण अनुबंध Hanzo Network पर एक प्रसिद्ध पते पर तैनात है। कोई भी जाँच सकता है कि दी गई भार-राशि प्रमाणित हैश से मेल खाती है, और बेंचमार्क परिणाम मूल्यांकन समिति के हैं, स्व-रिपोर्ट नहीं।

यह हर तरह की चालबाजी नहीं रोकता: प्रशिक्षण डेटा में बेंचमार्क संदूषण पकड़ना कठिन रहता है। पर यह प्रशिक्षण हार्डवेयर से प्रकाशित भार तक दावा किए प्रदर्शन तक एक जाँच योग्य शृंखला देता है। अगर हैश नहीं मिलता, भार बदले गए हैं। अगर TEE प्रमाण अमान्य है, प्रशिक्षण वातावरण दावे से अलग था।

ACI पर अनुमान

Zen4-ultra को सभी पैरामीटर FP16 में लोड करने के लिए लगभग 2TB स्मृति चाहिए। किसी एक नोड के पास इतनी जीपीयू स्मृति नहीं। अनुमान ACI कंप्यूट नोडों पर टेन्सर समानांतर से बँटता है:

सघन परतों के लिए एक नोड पर H100 जीपीयू के पार 8-मार्गी टेन्सर समानांतर
मिश्रित परतों के लिए नोडों के पार विशेषज्ञ समानांतर: प्रत्येक नोड विशेषज्ञों का एक उपसमूह रखता है
zen4-mini को मसौदा मॉडल बनाकर काल्पनिक डिकोडिंग, लंबे रूप की उत्पत्ति पर 3.2x थ्रूपुट सुधार

256-टोकन उत्पत्ति की अंत-से-अंत विलंबता: पहले टोकन तक 1.8 सेकंड, उसके बाद 45 टोकन प्रति सेकंड। समान सक्रिय पैरामीटर संख्या के सघन मॉडलों के समकक्ष, वितरित ओवरहेड के बावजूद।

खुले भार

सभी Zen मॉडल Apache 2.0 के तहत HuggingFace और hanzoai/zen भंडार पर जारी हैं। भार, टोकनाइज़र, प्रशिक्षण विन्यास, और मूल्यांकन स्क्रिप्ट शामिल हैं। खुले भार का आदेश Zoo फ़ाउंडेशन शासन की संरचनात्मक आवश्यकता है: यह संगठनात्मक चार्टर में लिखा है, विवेकाधीन नीति नहीं।

कड़ियाँ

मॉडल: huggingface.co/zenlm
स्रोत: github.com/hanzoai/zen
प्रमाण: explore.hanzo.network — शृंखला पर मॉडल प्रमाण अभिलेख
बेंचमार्क: zenlm.org/benchmarks

Hanzo AI Techstars '17 है। Zen मॉडल: zenlm.org। Hanzo: hanzo.ai।