Zen: 1T+ 매개변수의 혼합 전문가 구조

Zen은 Hanzo의 기함 언어 모델 가족입니다. 가장 큰 모델 zen4-ultra은 1.04조 매개변수의 혼합 전문가(MoE) 구조로, 순방향 패스마다 140B 매개변수를 켭니다. zen-nano(600M)에서 지금의 zen4 가족에 이르는 삼 년 모델 개발의 결실입니다.

이 글은 구조, 학습 방법, 그리고 Zen 모델을 감사할 수 있게 하는 체인 위 검증을 설명합니다.

구조

Zen4-ultra은 희소한 혼합 전문가 구조를 씁니다. 핵심 설계는 다음과 같습니다.

• 총 매개변수: 1.04T
• 토큰당 활성 매개변수: ~140B (활성화 비율 13.5%)
• 전문가: MoE 층마다 128개, 경로는 top-8
• 층: 트랜스포머 96층. 한 층 걸러 MoE (MoE 층 48, 밀집 층 48)
• 문맥 창: 256K 토큰 (YaRN 위치 보간)
• 어휘: 152K 토큰 (다국어 BPE)

MoE 경로 선택은 학습된 게이팅 망에 보조 부하 균형 손실을 더해 전문가 붕괴를 막습니다. 각 전문가는 SwiGLU 활성화의 표준 순전파 망(FFN)입니다. 라우터는 토큰마다 128개 중 8개를 고릅니다. 복잡한 추론 패턴을 잡을 다양성이 있고, 계산은 다룰 만한 범위에 남습니다.

MoE인 이유

밀집 모델은 선형으로 큽니다. 매개변수가 2x이면 토큰당 계산도 2x입니다. MoE는 그 관계를 끊습니다. Zen4-ultra은 140B 밀집 모델 총 매개변수의 7.4x를 가지면서 토큰당 추론 비용은 같습니다. 늘어난 매개변수는 용량입니다. 지식을 더 담고 더 다양한 과제를 다루며, 계산은 비례해서 늘지 않습니다.

맞바꾸는 것은 메모리입니다. 활성은 140B뿐이어도 1.04T 매개변수를 모두 올려야 합니다. 여러 노드에 걸친 분산 추론이 필요하고, 거기서 ACI 네트워크가 필수입니다.

Zen4 가족

모델	총 매개변수	활성 매개변수	구조
zen4-mini	4B	4B	밀집
zen4-base	8B	8B	밀집
zen4-pro	14B	14B	밀집
zen4-max	30B	8B	MoE (32 전문가, top-2)
zen4-coder	80B	20B	MoE (64 전문가, top-4)
zen4-ultra	1.04T	140B	MoE (128 전문가, top-8)

가족의 모든 모델은 같은 토크나이저, 같은 주의 구현, 같은 학습 데이터 경로를 나눕니다. 밀집 모델(mini부터 pro까지)은 따로 학습하지 않고 ultra에서 증류합니다. 가족 전체의 행동이 맞습니다.

모델 융합

Zen 모델은 무작위 초기화에서 처음부터 학습하지 않습니다. 성적이 좋은 오픈 웨이트 모델에서, 구조화된 지식 이전이라 부르는 방법으로 융합합니다.

기초 구조는 Qwen3입니다. 모든 Zen 모델은 Qwen3 체크포인트에서 시작합니다. 이것은 Zoo 재단 정책 아래의 단단한 거버넌스 제약입니다(Qwen3+만). 융합 절차는 다음과 같습니다.

1. 구조 맞추기: 원 모델의 구조를 Zen 목표 구조에 대응시킵니다. MoE 모델에서는 밀집 모델의 층에서 DROP 업사이클로 전문가를 초기화합니다(글 Drop-Upcycling: 13B 품질의 MoE 모델을 1/4 비용으로 짓기에 적혀 있습니다).

2. 지식 증류: Zen 모델을 (a) 날것의 사전 학습 데이터와 (b) 원 모델의 교사 출력의 혼합으로 학습합니다. 교사 묶음에는 목표 능력의 벤치마크 성적으로 고른 Qwen3, DeepSeek, Mistral 체크포인트가 들어갑니다.

3. 전문가 전문화: 첫 융합 뒤, 개별 전문가를 영역별 데이터, 수학, 코드, 과학적 추론, 다국어 텍스트로 미세 조정해 전문화를 부춥니다. 라우터는 영역의 토큰을 그 영역의 전문가에게 보내는 법을 배웁니다.

4. 행동 맞추기: 마지막 행동 조정에는 Zoo 재단 원장의 DSO(분산 의미 최적화) 경험 항목을 씁니다. 이것은 공동체 거버넌스 층입니다. Zen이 보이는 행동은 공동체가 원장에 투표해 넣은 항목으로 정해집니다.

분산 학습

Zen4-ultra 학습은 Hanzo Network 계산 클러스터에서 돕니다. 베어메탈 노드이고, 노드마다 8x H100 GPU이며, InfiniBand로 연결합니다. 학습 기반은 다음과 같습니다.

• 틀: 밀집 층에는 FSDP(Fully Sharded Data Parallel)가 있는 PyTorch, MoE 층에는 맞춤 전문가 병렬 샤딩
• 노드: ultra 학습 전체에 512 노드(H100 GPU 4096개)
• 학습 시간: 마지막 융합과 전문화 단계에 14일
• 데이터: 15T 토큰. 중복을 빼고, 품질로 거르고, 다국어(97개 언어)
• 체크포인트: 1000 스텝마다 내용 주소 해시로 Hanzo Storage에 올립니다

전문가 병렬은 각 전문가를 GPU 하나에 두고, 토큰 경로 선택에 모두-대-모두 통신을 씁니다. 데이터 병렬보다 통신은 무겁지만, 모든 전문가를 모든 GPU에 복제하는 메모리 부담을 피합니다.

체인 위의 모델 증명

Zen 모델 체크포인트마다 Hanzo Network 위의 체인 증명이 있습니다. 증명에 들어가는 것은 다음과 같습니다.

• 모델 해시: 가중치 텐서 전체의 SHA-256. 규범적인 safetensors 직렬화에서 결정적으로 계산합니다
• 학습 설정 해시: 학습 설정 전체의 SHA-256 (하이퍼파라미터, 데이터 혼합, 계산 배분)
• 벤치마크 결과: 표준화한 벤치마크 점수(MMLU, HumanEval, MATH 등)를 Zoo 재단 평가 위원회의 독립 평가자가 계산합니다
• TEE 증명: 학습 노드의 Intel TDX 또는 AMD SEV 증명. 주장한 하드웨어에서 주장한 코드로 학습이 돌았음을 보입니다

증명 계약은 Hanzo Network의 잘 알려진 주소에 놓입니다. 주어진 가중치가 증명된 해시와 맞는 것, 그리고 벤치마크 결과가 자체 보고가 아니라 평가 위원회의 것임을 누구나 확인할 수 있습니다.

이것으로 모든 장난을 막을 수는 없습니다. 학습 데이터의 벤치마크 오염은 여전히 찾기 어렵습니다. 그래도 학습 하드웨어에서 공개된 가중치, 주장된 성능까지 확인할 수 있는 사슬이 생깁니다. 해시가 맞지 않으면 가중치는 바뀐 것입니다. TEE 증명이 무효이면 학습 환경은 주장과 달랐습니다.

ACI에서의 추론

Zen4-ultra은 모든 매개변수를 FP16로 올리는 데 약 2TB 메모리가 필요합니다. 노드 하나에 그만한 GPU 메모리는 없습니다. 추론은 텐서 병렬로 ACI 계산 노드에 나뉩니다.

• 밀집 층은 노드 하나의 H100 GPU에 걸친 8방향 텐서 병렬
• MoE 층은 노드를 가로지르는 전문가 병렬. 각 노드는 전문가의 일부를 가집니다
• 초안 모델로 zen4-mini을 쓰는 투기적 복호. 긴 생성에서 처리량이 3.2x 좋아집니다

256 토큰 생성의 끝에서 끝까지 지연은 첫 토큰까지 1.8초, 그 뒤 초당 45토큰입니다. 분산의 부담이 있어도 같은 활성 매개변수 수의 밀집 모델과 겨룹니다.

열린 가중치

모든 Zen 모델은 Apache 2.0 아래 HuggingFace와 hanzoai/zen 저장소에서 공개됩니다. 가중치, 토크나이저, 학습 설정, 평가 스크립트가 들어 있습니다. 오픈 웨이트 의무는 Zoo 재단 거버넌스의 구조적 요구입니다. 조직 헌장에 적혀 있으며, 재량 정책이 아닙니다.

링크

• 모델: huggingface.co/zenlm
• 소스: github.com/hanzoai/zen
• 증명: explore.hanzo.network — 체인 위 모델 증명 기록
• 벤치마크: zenlm.org/benchmarks

---

Hanzo AI는 Techstars '17입니다. Zen 모델: zenlm.org. Hanzo: hanzo.ai.