Zen4 Coder は 480B のうち動く分が 92% 少ない、専門家混合のコードモデルです

密なモデルは、すべてのトークンでパラメータの 90% を無駄にします。コードでは知識が構文、意味、型システム、自然言語にわたって高度に構造化されているため、この無駄はとりわけ大きくなります。

本日 Zen4 Coder を公開します。順伝播のたびに 35B パラメータだけを起動する、480B パラメータの Mixture of Experts モデルです。知っていることは 480B モデルと同じだけ。かかる費用は 35B モデルと同じだけです。

三つのモデル、あらゆるコードの作業のために

Zen4 Coder — 汎用のコードモデル。

• 合計 480B / 活性 35B（MoE）
• コンテキスト窓 163K
• 主要なプログラミング言語のすべて
• エージェント的なツール使用と、複数ステップの推論

Zen4 Coder Pro — 最高の精度。

• パラメータ 480B、BF16 の全精度（密）
• コンテキスト窓 131K
• 複雑な複数ファイルのリファクタリングと、大きなコードベースの移動のため
• いちばん速い答えではなく、いちばん良い答えが要るとき

Zen4 Coder Flash — リアルタイムのコード支援。

• 合計 30B / 活性 3B（MoE）
• コンテキスト窓 262K
• インライン補完、タブ補完、コードのチャット
• 対話的な作業のための遅延 Sub-100ms

コードに MoE アーキテクチャが重要な理由

Mixture of Distilled Experts（MoDE）アーキテクチャは、各トークンを専門のエキスパート部分ネットワークへ送ります。Zen4 Coder では、次のための専用経路ができます。

• 構文のエキスパート — 言語ごとの文法と構造
• 意味のエキスパート — 意味、意図、プログラムの論理
• 型推論のエキスパート — 型システム、ジェネリクス、制約
• 文書のエキスパート — コメント、docstring、説明の中の自然言語

Python を生成するとき、Python の構文エキスパートが意味推論のエキスパートと一緒に起動します。Java の型システムエキスパートは眠ったままです。この選択的な起動が、480B モデルを 35B モデルのように走らせます。

実際のコードベースのために作られたコンテキスト窓

Zen4 Coder の 163K コンテキスト窓には、次が入ります。

• 典型的なマイクロサービスのコードベース（50-100 ファイル）
• Go モジュール全体、または Rust の crate
• コンポーネント、フック、状態管理を備えた React アプリケーション一式

Coder Flash の 262K 窓は、コード検索と移動のための、さらに大きな負荷を扱います。

Coder Pro の 131K 窓は深い分析向けに最適化されています。複雑な推論で最大の精度を取る代わりに、コンテキスト長を手放します。

今すぐ使えます

三つの Zen4 Coder モデルは、Hanzo AI ゲートウェイの hanzo.ai から使えます。標準の OpenAI 互換 API を使ってください。

curl https://llm.hanzo.ai/v1/chat/completions \
  -H "Authorization: Bearer $HANZO_API_KEY" \
  -d '{
    "model": "zen4-coder",
    "messages": [{"role": "user", "content": "Refactor this function to use async/await..."}]
  }'

API も、鍵も、課金も、プラットフォーム上のほかのすべてのモデルと同じです。