Zen: Kiến trúc MoE hơn 1T tham số

Zen là họ mô hình ngôn ngữ chủ lực của Hanzo. Mô hình lớn nhất, zen4-ultra, là kiến trúc Mixture of Experts (MoE) 1.04 nghìn tỷ tham số, kích hoạt 140B tham số mỗi lượt tiến. Đó là kết quả ba năm phát triển mô hình, từ zen-nano (600M) đến họ zen4 hiện tại.

Bài này mô tả kiến trúc, phương pháp huấn luyện, và hệ thống kiểm chứng trên chuỗi khiến các mô hình Zen có thể kiểm toán.

Kiến trúc

Zen4-ultra dùng kiến trúc Mixture of Experts thưa. Thiết kế lõi:

Tổng tham số: 1.04T
Tham số hoạt động mỗi token: ~140B (tỷ lệ kích hoạt 13.5%)
Chuyên gia: 128 chuyên gia mỗi lớp MoE, định tuyến top-8
Lớp: 96 lớp transformer, cứ lớp xen kẽ là MoE (48 lớp MoE, 48 lớp dày)
Cửa sổ ngữ cảnh: 256K token (nội suy vị trí YaRN)
Từ vựng: 152K token (BPE đa ngữ)

Định tuyến MoE dùng một mạng cổng đã học, với mất mát cân bằng tải phụ, để chuyên gia không sụp. Mỗi chuyên gia là một FFN chuẩn (mạng truyền thẳng) với kích hoạt SwiGLU. Bộ định tuyến chọn 8 trong 128 chuyên gia cho mỗi token — đủ đa dạng để nắm các mẫu suy luận phức tạp mà vẫn giữ tính toán trong tầm.

Vì sao MoE

Mô hình dày co giãn tuyến tính: 2x tham số = 2x tính toán mỗi token. MoE phá quan hệ đó. Zen4-ultra có 7.4x tổng tham số của một mô hình dày 140B nhưng cùng chi phí suy luận mỗi token. Tham số thêm tạo sức chứa — mô hình lưu nhiều tri thức hơn và xử lý nhiều tác vụ đa dạng hơn — mà không tăng tính toán theo tỷ lệ.

Đổi lại là bộ nhớ. Cả 1.04T tham số phải được nạp, dù chỉ 140B đang hoạt động. Việc này đòi hỏi suy luận phân tán trên nhiều nút, và đó là chỗ mạng ACI trở thành thiết yếu.

Họ Zen4

Mô hình	Tổng tham số	Tham số hoạt động	Kiến trúc
zen4-mini	4B	4B	Dày
zen4-base	8B	8B	Dày
zen4-pro	14B	14B	Dày
zen4-max	30B	8B	MoE (32 chuyên gia, top-2)
zen4-coder	80B	20B	MoE (64 chuyên gia, top-4)
zen4-ultra	1.04T	140B	MoE (128 chuyên gia, top-8)

Mọi mô hình trong họ dùng chung tokenizer, cách làm attention, và đường ống dữ liệu huấn luyện. Các mô hình dày (từ mini đến pro) được chưng cất từ ultra, không huấn luyện riêng. Điều đó giữ hành vi nhất quán trong cả họ.

Hợp mô hình

Các mô hình Zen không được huấn luyện từ đầu trên khởi tạo ngẫu nhiên. Chúng được hợp từ các mô hình trọng số mở đang dẫn đầu, bằng một phương pháp chúng tôi gọi là chuyển tri thức có cấu trúc.

Kiến trúc nền là Qwen3. Mọi mô hình Zen bắt đầu từ một checkpoint Qwen3 — đây là ràng buộc quản trị cứng theo chính sách Quỹ Zoo (chỉ Qwen3+). Quá trình hợp:

Khớp kiến trúc: Ánh xạ kiến trúc mô hình nguồn sang kiến trúc đích Zen. Với mô hình MoE, việc này gồm khởi tạo chuyên gia từ các lớp mô hình dày bằng kỹ thuật tái chế lên DROP (mô tả trong bài Drop-Upcycling: Dựng mô hình MoE chất lượng 13B với 1/4 chi phí).
Chưng cất tri thức: Huấn luyện mô hình Zen trên hỗn hợp (a) dữ liệu tiền huấn luyện thô và (b) đầu ra giáo viên từ các mô hình nguồn. Tập giáo viên gồm các checkpoint Qwen3, DeepSeek, và Mistral được chọn theo điểm chuẩn trên các năng lực đích.
Chuyên môn hóa chuyên gia: Sau lần hợp đầu, từng chuyên gia được tinh chỉnh trên dữ liệu theo miền — toán, mã, suy luận khoa học, văn bản đa ngữ — để khuyến khích chuyên môn. Bộ định tuyến học cách đưa token của một miền tới chuyên gia của miền đó.
Khớp hành vi: Các mục kinh nghiệm DSO (Tối ưu ngữ nghĩa phi tập trung) từ sổ cái Quỹ Zoo được dùng cho lần chỉnh hành vi cuối. Đây là lớp quản trị cộng đồng — hành vi Zen thể hiện do các mục cộng đồng đã bỏ phiếu vào sổ cái.

Huấn luyện phân tán

Huấn luyện Zen4-ultra chạy trên các cụm tính toán Hanzo Network — nút kim loại trần, mỗi nút 8x GPU H100, nối bằng InfiniBand. Hạ tầng huấn luyện:

Khung: PyTorch với FSDP (Fully Sharded Data Parallel) cho các lớp dày, sharding song song chuyên gia riêng cho các lớp MoE
Nút: 512 nút (4096 GPU H100) cho toàn bộ lượt huấn luyện ultra
Thời gian huấn luyện: 14 ngày cho pha hợp cuối và chuyên môn hóa
Dữ liệu: 15T token, đã khử trùng, lọc chất lượng, đa ngữ (97 ngôn ngữ)
Checkpoint: Mỗi 1000 bước, tải lên Hanzo Storage với băm định địa chỉ theo nội dung

Chiến lược song song chuyên gia đặt mỗi chuyên gia trên một GPU và dùng giao tiếp tất cả-tới-tất cả để định tuyến token. Cách này tốn giao tiếp hơn song song dữ liệu, nhưng tránh chi phí bộ nhớ khi nhân bản mọi chuyên gia trên mỗi GPU.

Chứng thực mô hình trên chuỗi

Mỗi checkpoint mô hình Zen có một chứng thực trên chuỗi tại Hanzo Network. Chứng thực gồm:

Băm mô hình: SHA-256 của toàn bộ tensor trọng số, tính tất định từ chuỗi hóa safetensors chuẩn
Băm cấu hình huấn luyện: SHA-256 của toàn bộ cấu hình huấn luyện (siêu tham số, hỗn hợp dữ liệu, phân bổ tính toán)
Kết quả chuẩn: Điểm chuẩn đã chuẩn hóa (MMLU, HumanEval, MATH, v.v.) do các bên đánh giá độc lập trong ủy ban đánh giá Quỹ Zoo tính
Chứng thực TEE: Chứng thực Intel TDX hoặc AMD SEV từ các nút huấn luyện, chứng minh huấn luyện chạy trên phần cứng đã khai và với mã đã khai

Hợp đồng chứng thực được triển khai trên Hanzo Network tại một địa chỉ ai cũng biết. Ai cũng có thể kiểm tra một bộ trọng số khớp băm đã chứng thực, và kết quả chuẩn do ủy ban đánh giá tạo ra chứ không phải tự khai.

Điều này không chặn mọi kiểu chơi — nhiễm chuẩn trong dữ liệu huấn luyện vẫn khó phát hiện — nhưng nó cho một chuỗi kiểm được từ phần cứng huấn luyện tới trọng số đã công bố tới hiệu năng đã khai. Nếu băm không khớp, trọng số đã bị sửa. Nếu chứng thực TEE không hợp lệ, môi trường huấn luyện khác với điều đã khai.

Suy luận trên ACI

Zen4-ultra cần khoảng 2TB bộ nhớ để nạp mọi tham số ở FP16. Không nút nào có ngần ấy bộ nhớ GPU. Suy luận được phân tán trên các nút tính toán ACI bằng song song tensor:

Song song tensor 8 hướng trên các GPU H100 của một nút cho các lớp dày
Song song chuyên gia xuyên nút cho các lớp MoE — mỗi nút giữ một tập con chuyên gia
Giải mã suy đoán với zen4-mini làm mô hình nháp, đạt cải thiện thông lượng 3.2x trên sinh dạng dài

Độ trễ đầu-cuối cho một lần sinh 256 token: 1.8 giây tới token đầu, sau đó 45 token mỗi giây. Ngang mô hình dày ở cùng số tham số hoạt động, dù có chi phí phân tán.

Trọng số mở

Mọi mô hình Zen được phát hành theo Apache 2.0 trên HuggingFace và kho hanzoai/zen. Trọng số, tokenizer, cấu hình huấn luyện, và script đánh giá đều có. Nghĩa vụ trọng số mở là yêu cầu cấu trúc của quản trị Quỹ Zoo — ghi trong hiến chương tổ chức, không phải chính sách tùy nghi.

Liên kết

Mô hình: huggingface.co/zenlm
Nguồn: github.com/hanzoai/zen
Chứng thực: explore.hanzo.network — hồ sơ chứng thực mô hình trên chuỗi
Điểm chuẩn: zenlm.org/benchmarks

Hanzo AI là Techstars '17. Mô hình Zen: zenlm.org. Hanzo: hanzo.ai.