Kai 1: 텍스트 완성이 아니라 결정

프로덕션 소프트웨어의 대부분 단계는 문단이 필요하지 않습니다. 소프트웨어가 그대로 실행할 수 있는 답이 필요합니다. 어떤 도구를 호출할지, 증거가 충분한지, 위험이 얼마나 심한지, 사람이 승인해야 하는지입니다.

오늘 Hanzo의 의사결정 모델 Kai 1을 소개합니다. 상황의 사실과 선택지가 나열된 질문을 Kai에 넘기면, 타입이 있는 답을 돌려줍니다. 선택, 점수, 예/아니오, 또는 보정된 「확신이 부족하니 보류」이며, 모든 선택지에 확률이 붙습니다.

Kai 1은 Hanzo API에서 제공됩니다. 가중치는 비공개이며, Kai는 API로만 제공됩니다.

언어 모델은 추론한다. Kai는 결정한다.

언어 모델에 판단을 맡기면 텍스트가 돌아옵니다. 그것을 파싱하고, 모델이 지어낸 확신 수치를 믿고, 출력이 범위 안에 머물기를 바라야 합니다.

Kai는 그것으로 충분하지 않은 단계를 위해 만들었습니다. 답은 범위가 정해져 있고, 확률은 보정되어 있으며, 파싱할 것이 없습니다. Kai의 모든 답은 네 가지 타입 가운데 하나입니다.

• 선택: 나열된 집합에서 하나를 고르고, 각각에 확률을 붙입니다
• 점수: 직접 정의한 수준에 대한 평가
• 참거짓: 예/아니오와 그 확률
• 보류: 확신이 충분하지 않아, 판단을 사람이나 규칙에 넘깁니다

증거는 붙어 있다

결정은 증거가 텍스트에서 시작했는지, 이미지인지, 센서 값인지를 가리지 않아야 합니다. Kai는 섞인 증거를 받아들이고, 그 출처를 모든 답에 붙여 두도록 설계되었습니다.

출처가 없는 숫자는 그저 숫자일 뿐입니다.

여러 결정을, 한 번의 처리로

에이전트 루프는 한 번에 질문 하나만 던집니다. Kai는 결정 프로그램 전체를 한 번에 실행하도록 설계되었습니다. 공유 상태는 하나, 결정은 여럿이며, 의존 관계는 명시합니다. 확신 있는 답을 먼저 확정하고, 불확실한 것에만 추가 작업을 합니다.

수천 개의 결정이 있는 프로그램이 모델을 수천 번 직렬로 호출하지 않게 하는 것이 목표입니다.

모든 결정은 재생할 수 있다

Kai의 각 결정은 프로그램 버전, 증거 지문, 모델 개정, 전체 확률 분포, 승인, 실행 추적을 기록합니다. 시스템이 왜 그렇게 했는지 물으면, 그것을 보여줄 수 있습니다.

Kai가 쓰이는 곳

• 에이전트: 모델과 도구 선택, 계속할지 멈출지, 사람에게 물을 시점
• 업무 흐름: 리드 스코어링, 의도 감지, 다음 최선 행동, 에스컬레이션
• 물리 시스템: 차량, 로보틱스, 제조, 에너지와 인프라. 결정이 센서 데이터 위에서 실행되는 곳

Hanzo 스택의 일부

생성과 결정은 다른 일입니다. Zen6는 오픈 웨이트 생성 모델 가족입니다. Kai 1은 범위가 정해지고 보정된 결정을 내립니다. Enso는 각 작업을 필요한 쪽으로 보냅니다.

어디에서 실행되나

Kai는 Hanzo API에서 POST https://api.hanzo.ai/v1/decisions로 실행됩니다. 요금은 입력 토큰 100만 개당 $0.021이며, 출력 토큰은 무료입니다. 가중치는 공개되지 않으며, 자체 호스팅으로도 제공하지 않습니다.

다음 단계

열린 연구 질문 7가지를 다루고 있으며, 재현할 수 있게 된 뒤에만 결과를 발표합니다.

1. 매우 큰 선택지 집합 위의 결정
2. 다국어 결정
3. 공유 상태 디코딩
4. 결정 확산 (불확실한 답만 다듬기)
5. 멀티모달 증거
6. 보정, 그리고 언제 기권할지 알기
7. 연결된 결정 사이의 일관성

Kai 1의 첫 결과를 공개했습니다. 고정된 결정 하니스의 주요 12개 스위트에서 Kai 1의 평균 정확도는 85.7%로, Jev의 78.0%보다 높습니다. 12개 스위트 중 11개에서 더 정확하고, jailbreak에서는 뒤처지며 (91.75% 대 94.0%), 보정 오차는 12개 중 8개에서 더 낮습니다. 이 실행은 CUDA에서 측정했고, 프로덕션 답은 CPU에서 나옵니다. Kai 1은 의존 관계가 있는 다중 질문 프로그램, 부정된 예/아니오 질문, 선택지가 150개 이상인 경우, 타입이 있는 결정과 jailbreak의 보정에서는 아직 경쟁력이 없습니다. 선택지가 1,000개 이상이면 정확도는 거의 0입니다. 각 수치가 어느 실행에서 나왔는지와 함께 모든 표는 hanzo.ai/kai와 Kai 문서에 있습니다.

---