Zen: Arsitektur MoE dengan Parameter 1T+

Zen adalah keluarga model bahasa unggulan Hanzo. Model terbesar, zen4-ultra, adalah arsitektur Mixture of Experts (MoE) berparameter 1.04 triliun yang mengaktifkan 140B parameter pada setiap lintasan maju. Ia adalah puncak tiga tahun pengembangan model, dari zen-nano (600M) sampai keluarga zen4 saat ini.

Tulisan ini menguraikan arsitektur, metodologi pelatihan, dan sistem verifikasi di rantai yang membuat model Zen dapat diaudit.

Arsitektur

Zen4-ultra memakai arsitektur Mixture of Experts yang jarang. Desain intinya:

• Total parameter: 1.04T
• Parameter aktif per token: ~140B (rasio aktivasi 13.5%)
• Pakar: 128 pakar per lapisan MoE, perutean top-8
• Lapisan: 96 lapisan transformer, setiap lapisan selang-seling adalah MoE (48 lapisan MoE, 48 padat)
• Jendela konteks: 256K token (interpolasi posisional YaRN)
• Kosakata: 152K token (BPE multibahasa)

Perutean MoE memakai jaringan gerbang yang dipelajari dengan kerugian penyeimbang beban tambahan agar pakar tidak runtuh. Setiap pakar adalah FFN standar (jaringan umpan-maju) dengan aktivasi SwiGLU. Perute memilih 8 dari 128 pakar per token — cukup beragam untuk menangkap pola penalaran yang rumit sambil menjaga komputasi tetap terkendali.

Mengapa MoE

Model padat berskala linear: 2x parameter = 2x komputasi per token. MoE memutus hubungan itu. Zen4-ultra memiliki 7.4x total parameter dari model padat 140B tetapi biaya inferensi per token yang sama. Parameter tambahan memberi kapasitas — model menyimpan lebih banyak pengetahuan dan menangani tugas yang lebih beragam — tanpa kenaikan komputasi yang sebanding.

Pertukarannya adalah memori. Seluruh parameter 1.04T harus dimuat, meskipun yang aktif hanya 140B. Ini menuntut inferensi terdistribusi di banyak node, dan di situlah jaringan ACI menjadi penting.

Keluarga Zen4

Model	Total parameter	Parameter aktif	Arsitektur
zen4-mini	4B	4B	Padat
zen4-base	8B	8B	Padat
zen4-pro	14B	14B	Padat
zen4-max	30B	8B	MoE (32 pakar, top-2)
zen4-coder	80B	20B	MoE (64 pakar, top-4)
zen4-ultra	1.04T	140B	MoE (128 pakar, top-8)

Setiap model dalam keluarga berbagi tokenizer, implementasi perhatian, dan jalur data pelatihan yang sama. Model padat (mini sampai pro) didistilasi dari ultra, bukan dilatih sendiri. Ini menjaga konsistensi perilaku di seluruh keluarga.

Peleburan model

Model Zen tidak dilatih dari nol pada inisialisasi acak. Mereka dilebur dari model bobot-terbuka yang berkinerja tinggi dengan metodologi yang kami sebut transfer pengetahuan terstruktur.

Arsitektur dasarnya adalah Qwen3. Setiap model Zen dimulai dari sebuah checkpoint Qwen3 — ini adalah batasan tata kelola yang keras di bawah kebijakan Yayasan Zoo (hanya Qwen3+). Proses peleburan:

1. Penyelarasan arsitektur: Memetakan arsitektur model sumber ke arsitektur target Zen. Untuk model MoE, ini mencakup inisialisasi pakar dari lapisan model padat memakai teknik daur-naik DROP (diuraikan dalam tulisan kami Drop-Upcycling: Membangun Model MoE Berkualitas 13B dengan 1/4 Biaya).

2. Distilasi pengetahuan: Melatih model Zen pada campuran (a) data pra-pelatihan mentah dan (b) keluaran guru dari model sumber. Ansambel guru mencakup checkpoint Qwen3, DeepSeek, dan Mistral yang dipilih menurut kinerja tolok ukur pada kemampuan sasaran.

3. Spesialisasi pakar: Setelah peleburan awal, masing-masing pakar disetel halus pada data khas domain — matematika, kode, penalaran ilmiah, teks multibahasa — untuk mendorong spesialisasi. Perute belajar mengarahkan token khas domain ke pakar yang terspesialisasi pada domain itu.

4. Penyelarasan perilaku: Entri pengalaman DSO (Optimisasi Semantik Terdesentralisasi) dari buku besar Yayasan Zoo dipakai untuk penyetelan perilaku terakhir. Ini lapisan tata kelola komunitas — perilaku yang ditunjukkan Zen ditentukan oleh entri yang telah dipilih komunitas masuk ke buku besar.

Pelatihan terdistribusi

Pelatihan Zen4-ultra berjalan pada klaster komputasi Hanzo Network — node logam polos dengan masing-masing 8x GPU H100, terhubung lewat InfiniBand. Infrastruktur pelatihannya:

• Kerangka: PyTorch dengan FSDP (Fully Sharded Data Parallel) untuk lapisan padat, sharding paralel-pakar khusus untuk lapisan MoE
• Node: 512 node (4096 GPU H100) untuk seluruh jalannya pelatihan ultra
• Waktu pelatihan: 14 hari untuk fase peleburan akhir dan spesialisasi
• Data: 15T token, tanpa duplikat, tersaring kualitas, multibahasa (97 bahasa)
• Checkpoint: Setiap 1000 langkah, diunggah ke Hanzo Storage dengan hashing beralamat konten

Strategi paralel-pakar menempatkan setiap pakar pada satu GPU dan memakai komunikasi semua-ke-semua untuk perutean token. Ini lebih berat komunikasinya daripada paralelisme data, tetapi menghindari overhead memori menyalin semua pakar di setiap GPU.

Atestasi model di rantai

Setiap checkpoint model Zen memiliki atestasi di rantai pada Hanzo Network. Atestasi itu mencakup:

• Hash model: SHA-256 dari tensor bobot lengkap, dihitung secara deterministik dari serialisasi safetensors yang kanonik
• Hash konfigurasi pelatihan: SHA-256 dari konfigurasi pelatihan penuh (hiperparameter, campuran data, alokasi komputasi)
• Hasil tolok ukur: Skor tolok ukur standar (MMLU, HumanEval, MATH, dan lain-lain) yang dihitung evaluator independen pada komite evaluasi Yayasan Zoo
• Atestasi TEE: Atestasi Intel TDX atau AMD SEV dari node pelatihan, yang membuktikan pelatihan berjalan pada perangkat keras yang diklaim dengan kode yang diklaim

Kontrak atestasi ditempatkan di Hanzo Network pada alamat yang dikenal. Siapa pun dapat memverifikasi bahwa suatu set bobot model cocok dengan hash yang diatestasi, dan bahwa hasil tolok ukur dihasilkan komite evaluasi, bukan dilaporkan sendiri.

Ini tidak mencegah segala bentuk permainan — kontaminasi tolok ukur dalam data pelatihan tetap sukar dideteksi — tetapi memberi rantai yang dapat diverifikasi dari perangkat keras pelatihan ke bobot yang diterbitkan ke kinerja yang diklaim. Jika hash tidak cocok, bobot telah diubah. Jika atestasi TEE tidak sah, lingkungan pelatihan berbeda dari yang diklaim.

Inferensi di ACI

Zen4-ultra membutuhkan kira-kira 2TB memori untuk memuat semua parameter dalam FP16. Tidak ada satu node yang punya sebanyak itu memori GPU. Inferensi didistribusikan ke node komputasi ACI memakai paralelisme tensor:

• Paralel tensor 8 arah di seluruh GPU H100 pada satu node untuk lapisan padat
• Paralel pakar di seluruh node untuk lapisan MoE — setiap node memegang sebagian pakar
• Dekode spekulatif dengan zen4-mini sebagai model draf, mencapai peningkatan throughput 3.2x pada generasi bentuk panjang

Latensi ujung-ke-ujung untuk generasi 256 token: 1.8 detik sampai token pertama, lalu 45 token per detik. Setara dengan model padat pada jumlah parameter aktif yang sama, meski ada overhead terdistribusi.

Bobot terbuka

Semua model Zen dirilis di bawah Apache 2.0 di HuggingFace dan repositori hanzoai/zen. Bobot, tokenizer, konfigurasi pelatihan, dan skrip evaluasi disertakan. Mandat bobot terbuka adalah persyaratan struktural tata kelola Yayasan Zoo — tertulis dalam piagam organisasi, bukan kebijakan diskresioner.

Tautan

• Model: huggingface.co/zenlm
• Sumber: github.com/hanzoai/zen
• Atestasi: explore.hanzo.network — catatan atestasi model di rantai
• Tolok ukur: zenlm.org/benchmarks

---

Hanzo AI adalah Techstars '17. Model Zen: zenlm.org. Hanzo: hanzo.ai.