Zen：1T+ 参数的混合专家架构

Zen 是 Hanzo 的旗舰语言模型家族。最大的模型 zen4-ultra 是 1.04 万亿参数的混合专家（MoE）架构，每次前向传播激活 140B 参数。它是三年模型开发的结果，从 zen-nano（600M）到现在的 zen4 家族。

本文说明架构、训练方法，以及让 Zen 模型可以被审计的链上验证系统。

架构

Zen4-ultra 使用稀疏混合专家架构。核心设计：

• 总参数： 1.04T
• 每个词元的活跃参数： ~140B（激活比 13.5%）
• 专家： 每个 MoE 层 128 个专家，路由为 top-8
• 层数： 96 层 transformer，每隔一层是 MoE（48 层 MoE，48 层稠密）
• 上下文窗口： 256K 词元（YaRN 位置插值）
• 词表： 152K 词元（多语言 BPE）

MoE 路由使用带辅助负载均衡损失的学习门控网络，防止专家塌缩。每个专家是带 SwiGLU 激活的标准前馈网络（FFN）。路由器为每个词元从 128 个专家里选 8 个：多样性足以抓住复杂推理模式，计算仍可承受。

为什么用 MoE

稠密模型按线性扩展：参数 2x，每个词元的计算也是 2x。MoE 打破这个关系。Zen4-ultra 的总参数是 140B 稠密模型的 7.4x，但每个词元的推理成本相同。多出来的参数是容量：模型存放更多知识、处理更多样的任务，计算却不按比例增加。

代价是显存。即便只有 140B 处于活跃，1.04T 参数也必须全部载入。这要求跨多个节点做分布式推理，ACI 网络因此成为必要。

Zen4 家族

模型	总参数	活跃参数	架构
zen4-mini	4B	4B	稠密
zen4-base	8B	8B	稠密
zen4-pro	14B	14B	稠密
zen4-max	30B	8B	MoE（32 个专家，top-2）
zen4-coder	80B	20B	MoE（64 个专家，top-4）
zen4-ultra	1.04T	140B	MoE（128 个专家，top-8）

家族中每个模型共用同一套分词器、同一套注意力实现、同一条训练数据流水线。稠密模型（从 mini 到 pro）是从 ultra 蒸馏而来，不是单独训练。这保证整个家族的行为一致。

模型融合

Zen 模型不是在随机初始化上从零训练的。它们由表现最好的开放权重模型融合而成，我们把这套方法称为结构化知识迁移。

基础架构是 Qwen3。每个 Zen 模型都从一份 Qwen3 检查点起步。这是 Zoo 基金会政策下的硬性治理约束（仅限 Qwen3+）。融合过程：

1. 架构对齐： 把源模型架构映射到 Zen 的目标架构。对 MoE 模型，这包括用 DROP 上循环技术从稠密模型的层初始化专家（见我们的文章 Drop-Upcycling：以 1/4 的成本构建 13B 质量的 MoE 模型）。

2. 知识蒸馏： 在 (a) 原始预训练数据和 (b) 源模型教师输出的混合上训练 Zen 模型。教师集合包括按目标能力的基准成绩选出的 Qwen3、DeepSeek 和 Mistral 检查点。

3. 专家专门化： 初步融合之后，各个专家在领域数据上微调，数学、代码、科学推理、多语言文本，以推动专家专门化。路由器学会把领域词元送到该领域的专家。

4. 行为对齐： 最终的行为调节使用 Zoo 基金会账本中的 DSO（去中心化语义优化）经验条目。这是社区治理层：Zen 表现出的行为，由社区投票写入账本的条目决定。

分布式训练

Zen4-ultra 的训练跑在 Hanzo Network 的计算集群上：裸金属节点，每台 8x H100 GPU，经 InfiniBand 连接。训练基础设施：

• 框架： 稠密层用带 FSDP（完全分片数据并行）的 PyTorch，MoE 层用定制的专家并行分片
• 节点： 512 个节点（4096 块 H100 GPU）用于完整的 ultra 训练
• 训练时间： 最终融合与专门化阶段 14 天
• 数据： 15T 词元，去重，按质量过滤，多语言（97 种语言）
• 检查点： 每 1000 步上传到 Hanzo Storage，使用内容寻址哈希

专家并行策略把每个专家放在一块 GPU 上，并用全对全通信做词元路由。这比数据并行更吃通信，但避免了在每块 GPU 上复制全部专家的显存开销。

链上模型证明

每个 Zen 模型检查点在 Hanzo Network 上都有一条链上证明。证明包括：

• 模型哈希： 完整权重张量的 SHA-256，由规范的 safetensors 序列化确定地算出
• 训练配置哈希： 完整训练配置的 SHA-256（超参数、数据混合、计算分配）
• 基准结果： 标准化基准分数（MMLU、HumanEval、MATH 等），由 Zoo 基金会评估委员会的独立评估者计算
• TEE 证明： 训练节点的 Intel TDX 或 AMD SEV 证明，证明训练跑在所声称的硬件上、使用所声称的代码

证明合约部署在 Hanzo Network 的一个众所周知的地址上。任何人都可以核验给定的模型权重与已证明的哈希一致，并且基准结果出自评估委员会，而不是自行填报。

这并不能阻止一切取巧：训练数据里的基准污染仍然很难发现。但它提供一条可核验的链，从训练硬件到已发布的权重，再到所声称的性能。哈希对不上，权重就被改过。TEE 证明无效，训练环境就和声称的不同。

在 ACI 上推理

Zen4-ultra 以 FP16 载入全部参数大约需要 2TB 内存。没有任何单个节点有这么多 GPU 内存。推理用张量并行分布到 ACI 计算节点上：

• 稠密层在单个节点的 H100 GPU 上做 8 路张量并行
• MoE 层在节点之间做 专家并行：每个节点持有一部分专家
• 以 zen4-mini 为草稿模型的 推测解码，在长文生成上获得 3.2x 的吞吐提升

生成 256 个词元的端到端延迟：首词元 1.8 秒，其后每秒 45 个词元。在活跃参数数量相同的情况下与稠密模型相当，尽管有分布式开销。

开放权重

所有 Zen 模型以 Apache 2.0 在 HuggingFace 和 hanzoai/zen 仓库发布。权重、分词器、训练配置和评估脚本都包括在内。开放权重是 Zoo 基金会治理的结构性要求：写进组织章程，不是可自行决定的政策。

链接

• 模型： huggingface.co/zenlm
• 源码： github.com/hanzoai/zen
• 证明： explore.hanzo.network — 链上模型证明记录
• 基准： zenlm.org/benchmarks

---

Hanzo AI 是 Techstars '17。Zen 模型：zenlm.org。Hanzo：hanzo.ai。