Zen: 1T+ parametreli MoE mimarisi

Zen, Hanzo'nun amiral gemisi dil modeli ailesidir. En büyük model olan zen4-ultra, her ileri geçişte 140B parametreyi etkinleştiren, 1.04 trilyon parametreli bir Mixture of Experts (MoE) mimarisidir. zen-nano (600M) ile başlayan üç yıllık model geliştirmenin, bugünkü zen4 ailesine varan ucudur.

Bu yazı mimariyi, eğitim yöntemini ve Zen modellerini denetlenebilir kılan zincir üstü doğrulama sistemini anlatır.

Mimari

Zen4-ultra seyrek bir Mixture of Experts mimarisi kullanır. Çekirdek tasarım:

• Toplam parametre: 1.04T
• Token başına etkin parametre: ~140B (etkinleşme oranı 13.5%)
• Uzmanlar: MoE katmanı başına 128 uzman, top-8 yönlendirme
• Katmanlar: 96 transformer katmanı, her iki katmandan biri MoE (48 MoE katmanı, 48 yoğun)
• Bağlam penceresi: 256K token (YaRN konumsal aradeğerleme)
• Sözlük: 152K token (çok dilli BPE)

MoE yönlendirmesi, uzman çökmesini önlemek için yardımcı yük dengeleme kaybı olan öğrenilmiş bir geçit ağı kullanır. Her uzman, SwiGLU etkinleştirmeli standart bir FFN'dir (ileri beslemeli ağ). Yönlendirici token başına 128 uzmandan 8'ini seçer — karmaşık akıl yürütme örüntülerini yakalayacak kadar çeşit, hesap ise hâlâ taşınabilir.

Neden MoE

Yoğun modeller doğrusal ölçeklenir: 2x parametre = token başına 2x hesap. MoE bu ilişkiyi kırar. Zen4-ultra, 140B yoğun bir modelin toplam parametresinin 7.4x katına sahiptir ve token başına aynı çıkarım maliyetini taşır. Fazla parametreler kapasite verir — model daha çok bilgi saklar ve daha çeşitli işleri kaldırır — hesap orantılı artmadan.

Bedel bellektir. Yalnızca 140B etkin olsa da 1.04T parametrenin tümü yüklenmelidir. Bu, birden çok düğümde dağıtık çıkarım ister ve ACI ağı tam burada vazgeçilmez olur.

Zen4 ailesi

Model	Toplam parametre	Etkin parametre	Mimari
zen4-mini	4B	4B	Yoğun
zen4-base	8B	8B	Yoğun
zen4-pro	14B	14B	Yoğun
zen4-max	30B	8B	MoE (32 uzman, top-2)
zen4-coder	80B	20B	MoE (64 uzman, top-4)
zen4-ultra	1.04T	140B	MoE (128 uzman, top-8)

Ailedeki her model aynı tokenizer'ı, aynı dikkat uygulamasını ve aynı eğitim verisi hattını paylaşır. Yoğun modeller (mini'den pro'ya) ayrı eğitilmez, ultra'dan damıtılır. Böylece davranış aile boyunca tutarlı kalır.

Model kaynaştırması

Zen modelleri rastgele ilklendirmeden sıfırdan eğitilmez. Açık ağırlıklı, yüksek başarılı modellerden, yapılandırılmış bilgi aktarımı dediğimiz bir yöntemle kaynaştırılır.

Taban mimari Qwen3'tür. Her Zen modeli bir Qwen3 denetim noktasından başlar — bu, Zoo Foundation politikası altında sert bir yönetişim kısıtıdır (yalnızca Qwen3+). Kaynaştırma süreci:

1. Mimari hizalama: Kaynak model mimarileri Zen hedef mimarisine eşlenir. MoE modellerinde bu, uzmanların yoğun model katmanlarından DROP upcycling tekniğiyle ilklenmesini de kapsar (yazımızda anlatılır: Drop-Upcycling: 13B kalitesinde MoE modellerini maliyetin 1/4'ünde kurmak).

2. Bilgi damıtma: Zen modeli, (a) ham ön eğitim verisi ile (b) kaynak modellerden öğretmen çıktılarının karışımı üzerinde eğitilir. Öğretmen topluluğu, hedef yeteneklerdeki karşılaştırma başarısına göre seçilmiş Qwen3, DeepSeek ve Mistral denetim noktalarını içerir.

3. Uzman uzmanlaşması: İlk kaynaştırmadan sonra tek tek uzmanlar bir alanın verisi üzerinde inceltilir — matematik, kod, bilimsel akıl yürütme, çok dilli metin — ki uzmanlar uzmanlaşsın. Yönlendirici, alana özgü token'ları o alanın uzmanlarına göndermeyi öğrenir.

4. Davranış hizalaması: Zoo Foundation defterindeki DSO (merkezi olmayan anlamsal eniyileme) deneyim girdileri son davranış ayarı için kullanılır. Bu, topluluk yönetişim katmanıdır — Zen'in sergilediği davranışları, topluluğun deftere oyladığı girdiler belirler.

Dağıtık eğitim

Zen4-ultra eğitimi Hanzo Network hesap kümelerinde koşar — her biri 8x H100 taşıyan, InfiniBand ile bağlı çıplak metal düğümler. Eğitim altyapısı:

• Çerçeve: Yoğun katmanlar için FSDP (tamamen parçalanmış veri paralelliği) ile PyTorch, MoE katmanları için özel uzman-paralel parçalama
• Düğümler: Tam ultra koşusu için 512 düğüm (4096 H100 GPU)
• Eğitim süresi: Son kaynaştırma ve uzmanlaşma evresi için 14 gün
• Veri: 15T token, yinelenenler ayıklanmış, nitelik süzgecinden geçmiş, çok dilli (97 dil)
• Denetim noktaları: Her 1000 adımda, içerik adresli özet ile Hanzo Storage'a yüklenir

Uzman-paralel strateji her uzmanı tek bir GPU'ya koyar ve token yönlendirmesi için all-to-all iletişim kullanır. Veri paralelliğinden daha çok iletişim ister, ama her GPU'da bütün uzmanları çoğaltmanın bellek yükünden kaçınır.

Zincir üstü model tasdiki

Her Zen model denetim noktasının Hanzo Network üzerinde zincir üstü bir tasdiki vardır. Tasdik şunları içerir:

• Model özeti: Tam ağırlık tensörünün SHA-256 değeri, kanonik safetensors serileştirmesinden belirlenimci olarak hesaplanır
• Eğitim yapılandırması özeti: Tam eğitim yapılandırmasının SHA-256 değeri (hiperparametreler, veri karışımı, hesap payı)
• Karşılaştırma sonuçları: Zoo Foundation değerlendirme kurulundaki bağımsız değerlendiricilerin hesapladığı standart puanlar (MMLU, HumanEval, MATH vb.)
• TEE tasdiki: Eğitimin bildirilen donanımda ve bildirilen kodla koştuğunu kanıtlayan, eğitim düğümlerinden Intel TDX veya AMD SEV tasdiki

Tasdik sözleşmesi Hanzo Network üzerinde bilinen bir adreste konuşludur. Herkes, bir ağırlık kümesinin tasdikli özete uyduğunu ve karşılaştırma sonuçlarını değerlendirme kurulunun ürettiğini, kendi beyanı olmadığını doğrulayabilir.

Bu, her türlü oyunu engellemez — eğitim verisindeki karşılaştırma bulaşmasını yakalamak hâlâ zordur — ama eğitim donanımından yayımlanan ağırlıklara ve iddia edilen başarıma kadar doğrulanabilir bir zincir verir. Özet uymuyorsa ağırlıklar değiştirilmiştir. TEE tasdiki geçersizse eğitim ortamı bildirilenden farklıydı.

ACI üzerinde çıkarım

Zen4-ultra, tüm parametreleri FP16 ile yüklemek için yaklaşık 2TB bellek ister. Tek bir düğümde bu kadar GPU belleği yoktur. Çıkarım, tensör paralelliğiyle ACI hesap düğümlerine dağıtılır:

• Yoğun katmanlar için tek bir düğümdeki H100 GPU'lar üzerinde 8 yollu tensör paralelliği
• MoE katmanları için düğümler arasında uzman paralelliği — her düğüm uzmanların bir alt kümesini tutar
• Taslak model olarak zen4-mini ile spekülatif kod çözme, uzun üretimde 3.2x verim artışı

256 tokenlik bir üretim için uçtan uca gecikme: ilk tokene 1.8 saniye, sonrasında saniyede 45 token. Dağıtık ek yüke rağmen, aynı etkin parametre sayısındaki yoğun modellerle yarışır.

Açık ağırlıklar

Tüm Zen modelleri Apache 2.0 altında HuggingFace'te ve hanzoai/zen deposunda yayımlanır. Ağırlıklar, tokenizer, eğitim yapılandırmaları ve değerlendirme betikleri dahildir. Açık ağırlık buyruğu Zoo Foundation yönetişiminin yapısal bir koşuludur — kuruluş tüzüğüne yazılmıştır, isteğe bağlı bir politika değildir.

Bağlantılar

• Modeller: huggingface.co/zenlm
• Kaynak: github.com/hanzoai/zen
• Tasdikler: explore.hanzo.network — zincir üstü model tasdik kayıtları
• Karşılaştırmalar: zenlm.org/benchmarks

---

Hanzo AI, Techstars '17'dur. Zen modelleri: zenlm.org. Hanzo: hanzo.ai.