Zen: สถาปัตยกรรม MoE พารามิเตอร์เกิน 1T

Zen คือตระกูลโมเดลภาษาเรือธงของ Hanzo โมเดลที่ใหญ่สุด zen4-ultra เป็นสถาปัตยกรรม Mixture of Experts (MoE) พารามิเตอร์ 1.04 ล้านล้าน ซึ่งเปิดใช้พารามิเตอร์ 140B ต่อรอบเดินหน้า มันคือผลสามปีของการพัฒนาโมเดล จาก zen-nano (600M) สู่ตระกูล zen4 ปัจจุบัน

บทความนี้อธิบายสถาปัตยกรรม วิธีฝึก และระบบตรวจบนเชนที่ทำให้โมเดล Zen ตรวจสอบได้

สถาปัตยกรรม

Zen4-ultra ใช้สถาปัตยกรรม Mixture of Experts แบบกระจัดกระจาย การออกแบบแกน:

• พารามิเตอร์ทั้งหมด: 1.04T
• พารามิเตอร์ที่ทำงานต่อโทเคน: ~140B (อัตรากระตุ้น 13.5%)
• ผู้เชี่ยวชาญ: 128 คนต่อชั้น MoE การจัดเส้นทาง top-8
• ชั้น: 96 ชั้นทรานส์ฟอร์เมอร์ ทุกชั้นเว้นชั้นเป็น MoE (48 ชั้น MoE, 48 ชั้นหนาแน่น)
• หน้าต่างบริบท: 256K โทเคน (การประมาณตำแหน่ง YaRN)
• คลังคำ: 152K โทเคน (BPE หลายภาษา)

การจัดเส้นทาง MoE ใช้เครือข่ายเกตที่เรียนรู้ พร้อมความสูญเสียช่วยสมดุลโหลด เพื่อกันผู้เชี่ยวชาญล่ม ผู้เชี่ยวชาญแต่ละคนเป็น FFN มาตรฐาน (เครือข่ายป้อนไปข้างหน้า) ด้วยการกระตุ้น SwiGLU เราเตอร์เลือก 8 จาก 128 คนต่อโทเคน หลากพอจะจับรูปแบบเหตุผลที่ซับซ้อน และยังให้การคำนวณอยู่ในวิสัย

ทำไมต้อง MoE

โมเดลหนาแน่นขยายเชิงเส้น: พารามิเตอร์ 2x เท่ากับคำนวณ 2x ต่อโทเคน MoE ทำลายความสัมพันธ์นี้ Zen4-ultra มีพารามิเตอร์รวม 7.4x ของโมเดลหนาแน่น 140B แต่ต้นทุนอนุมานต่อโทเคนเท่าเดิม พารามิเตอร์ส่วนเกินให้ความจุ โมเดลเก็บความรู้ได้มากขึ้นและรับงานที่หลากหลายขึ้น โดยไม่เพิ่มการคำนวณตามสัดส่วน

สิ่งที่แลกคือหน่วยความจำ ต้องโหลดพารามิเตอร์ 1.04T ทั้งหมด แม้ทำงานจริงเพียง 140B จึงต้องอนุมานแบบกระจายข้ามหลายโหนด และนั่นคือจุดที่เครือข่าย ACI จำเป็น

ตระกูล Zen4

โมเดล	พารามิเตอร์รวม	พารามิเตอร์ที่ทำงาน	สถาปัตยกรรม
zen4-mini	4B	4B	หนาแน่น
zen4-base	8B	8B	หนาแน่น
zen4-pro	14B	14B	หนาแน่น
zen4-max	30B	8B	MoE (32 ผู้เชี่ยวชาญ, top-2)
zen4-coder	80B	20B	MoE (64 ผู้เชี่ยวชาญ, top-4)
zen4-ultra	1.04T	140B	MoE (128 ผู้เชี่ยวชาญ, top-8)

ทุกโมเดลในตระกูลใช้โทเคนไนเซอร์เดียวกัน การทำแอตเทนชันเดียวกัน และท่อข้อมูลฝึกเดียวกัน โมเดลหนาแน่น (mini ถึง pro) กลั่นจาก ultra ไม่ได้ฝึกแยกต่างหาก จึงได้พฤติกรรมสอดคล้องกันทั้งตระกูล

การหลอมโมเดล

โมเดล Zen ไม่ได้ฝึกจากศูนย์บนการเริ่มแบบสุ่ม พวกมันถูกหลอมจากโมเดลน้ำหนักเปิดที่ทำผลงานสูง ด้วยวิธีที่เราเรียกว่าการถ่ายโอนความรู้แบบมีโครงสร้าง

สถาปัตยกรรมฐานคือ Qwen3 ทุกโมเดล Zen เริ่มจากเช็กพอยต์ Qwen3 นี่คือข้อจำกัดธรรมาภิบาลที่แข็งภายใต้นโยบายมูลนิธิ Zoo (เฉพาะ Qwen3+) กระบวนการหลอม:

1. จัดแนวสถาปัตยกรรม: จับคู่สถาปัตยกรรมโมเดลต้นทางเข้าสถาปัตยกรรมเป้าหมาย Zen สำหรับโมเดล MoE รวมการเริ่มผู้เชี่ยวชาญจากชั้นของโมเดลหนาแน่นด้วยเทคนิครีไซเคิลขึ้น DROP (อธิบายในบทความ Drop-Upcycling: สร้างโมเดล MoE คุณภาพ 13B ที่ต้นทุน 1/4)

2. กลั่นความรู้: ฝึกโมเดล Zen บนส่วนผสมของ (ก) ข้อมูลก่อนฝึกดิบ และ (ข) ผลลัพธ์ครูจากโมเดลต้นทาง ชุดครูมีเช็กพอยต์ Qwen3, DeepSeek, และ Mistral ที่เลือกจากผลเบนช์มาร์กบนความสามารถเป้าหมาย

3. ความเชี่ยวชาญเฉพาะทาง: หลังหลอมครั้งแรก ผู้เชี่ยวชาญแต่ละคนถูกปรับละเอียดบนข้อมูลเฉพาะโดเมน คณิตศาสตร์ โค้ด เหตุผลวิทยาศาสตร์ ข้อความหลายภาษา เพื่อกระตุ้นความเชี่ยวชาญ เราเตอร์เรียนรู้ที่จะส่งโทเคนของโดเมนไปยังผู้เชี่ยวชาญของโดเมนนั้น

4. จัดแนวพฤติกรรม: รายการประสบการณ์ DSO (การปรับความหมายแบบกระจายศูนย์) จากบัญชีมูลนิธิ Zoo ใช้ปรับพฤติกรรมขั้นสุดท้าย นี่คือชั้นธรรมาภิบาลชุมชน พฤติกรรมที่ Zen แสดงถูกกำหนดโดยรายการที่ชุมชนโหวตเข้าบัญชี

การฝึกแบบกระจาย

การฝึก Zen4-ultra รันบนคลัสเตอร์คำนวณของ Hanzo Network โหนดโลหะเปลือย โหนดละ 8x จีพียู H100 เชื่อมด้วย InfiniBand โครงสร้างการฝึก:

• เฟรมเวิร์ก: PyTorch พร้อม FSDP (Fully Sharded Data Parallel) สำหรับชั้นหนาแน่น และการชาร์ดขนานผู้เชี่ยวชาญเฉพาะสำหรับชั้น MoE
• โหนด: 512 โหนด (4096 จีพียู H100) สำหรับการฝึก ultra ทั้งชุด
• เวลาฝึก: 14 วันสำหรับระยะหลอมสุดท้ายและความเชี่ยวชาญ
• ข้อมูล: 15T โทเคน ตัดซ้ำ กรองคุณภาพ หลายภาษา (97 ภาษา)
• เช็กพอยต์: ทุก 1000 ก้าว อัปโหลดไป Hanzo Storage ด้วยแฮชที่อ้างอิงเนื้อหา

กลยุทธ์ขนานผู้เชี่ยวชาญวางผู้เชี่ยวชาญแต่ละคนบนจีพียูเดียว และใช้การสื่อสารทุกคนถึงทุกคนเพื่อจัดเส้นทางโทเคน วิธีนี้สื่อสารหนักกว่าการขนานข้อมูล แต่เลี่ยงต้นทุนหน่วยความจำจากการทำสำเนาผู้เชี่ยวชาญทั้งหมดบนทุกจีพียู

การรับรองโมเดลบนเชน

ทุกเช็กพอยต์ของโมเดล Zen มีการรับรองบนเชนที่ Hanzo Network การรับรองรวมถึง:

• แฮชโมเดล: SHA-256 ของเทนเซอร์น้ำหนักทั้งก้อน คำนวณแบบกำหนดได้จากการทำให้เป็นอนุกรม safetensors ฉบับหลัก
• แฮชค่าฝึก: SHA-256 ของค่าฝึกทั้งชุด (ไฮเปอร์พารามิเตอร์ ส่วนผสมข้อมูล การจัดสรรการคำนวณ)
• ผลเบนช์มาร์ก: คะแนนเบนช์มาร์กมาตรฐาน (MMLU, HumanEval, MATH ฯลฯ) ที่ผู้ประเมินอิสระในคณะกรรมการประเมินของมูลนิธิ Zoo คำนวณ
• การรับรอง TEE: การรับรอง Intel TDX หรือ AMD SEV จากโหนดฝึก พิสูจน์ว่าการฝึกรันบนฮาร์ดแวร์ที่อ้างและด้วยโค้ดที่อ้าง

สัญญาการรับรองถูกวางบน Hanzo Network ที่อยู่ซึ่งเป็นที่รู้จัก ใครก็ตรวจได้ว่าชุดน้ำหนักหนึ่งตรงกับแฮชที่รับรอง และผลเบนช์มาร์กมาจากคณะกรรมการประเมิน ไม่ใช่การรายงานเอง

สิ่งนี้ไม่ได้กันการเล่นทุกแบบ การปนเปื้อนเบนช์มาร์กในข้อมูลฝึกยังตรวจยาก แต่มันให้โซ่ที่ตรวจได้จากฮาร์ดแวร์ฝึกสู่น้ำหนักที่เผยแพร่สู่ประสิทธิภาพที่อ้าง ถ้าแฮชไม่ตรง น้ำหนักถูกแก้ ถ้าการรับรอง TEE ไม่ถูกต้อง สภาพแวดล้อมฝึกต่างจากที่อ้าง

การอนุมานบน ACI

Zen4-ultra ต้องการหน่วยความจำประมาณ 2TB เพื่อโหลดพารามิเตอร์ทั้งหมดใน FP16 ไม่มีโหนดเดียวที่มีหน่วยความจำจีพียูมากขนาดนั้น การอนุมานกระจายข้ามโหนดคำนวณ ACI ด้วยการขนานเทนเซอร์:

• ขนานเทนเซอร์ 8 ทาง ข้ามจีพียู H100 บนโหนดเดียวสำหรับชั้นหนาแน่น
• ขนานผู้เชี่ยวชาญ ข้ามโหนดสำหรับชั้น MoE แต่ละโหนดถือผู้เชี่ยวชาญบางส่วน
• ถอดรหัสแบบคาดการณ์ ด้วย zen4-mini เป็นโมเดลดราฟต์ ได้การเพิ่มปริมาณงาน 3.2x ในการสร้างข้อความยาว

ความหน่วงต้นทางถึงปลายทางสำหรับการสร้าง 256 โทเคน: 1.8 วินาทีถึงโทเคนแรก จากนั้น 45 โทเคนต่อวินาที ทัดเทียมโมเดลหนาแน่นที่จำนวนพารามิเตอร์ทำงานเท่ากัน ทั้งที่มีโอเวอร์เฮดของการกระจาย

น้ำหนักเปิด

โมเดล Zen ทั้งหมดเผยแพร่ภายใต้ Apache 2.0 บน HuggingFace และที่เก็บ hanzoai/zen มีน้ำหนัก โทเคนไนเซอร์ ค่าฝึก และสคริปต์ประเมิน ข้อกำหนดน้ำหนักเปิดเป็นเงื่อนไขเชิงโครงสร้างของธรรมาภิบาลมูลนิธิ Zoo เขียนไว้ในกฎบัตรองค์กร ไม่ใช่นโยบายตามดุลยพินิจ

ลิงก์

• โมเดล: huggingface.co/zenlm
• ซอร์ส: github.com/hanzoai/zen
• การรับรอง: explore.hanzo.network — บันทึกการรับรองโมเดลบนเชน
• เบนช์มาร์ก: zenlm.org/benchmarks

---

Hanzo AI คือ Techstars '17 โมเดล Zen: zenlm.org Hanzo: hanzo.ai