Kai 1: Beslut, inte kompletteringar

De flesta stegen i produktionsmjukvara behöver inte ett stycke. De behöver ett svar som mjukvaran kan agera på: vilket verktyg som ska anropas, om underlaget räcker, hur allvarlig en risk är och om en människa måste godkänna.

I dag presenterar vi Kai 1, Hanzos beslutsmodell. Ge Kai fakta om en situation och en fråga med listade alternativ. Kai returnerar ett typat svar (ett val, en poäng, ett ja eller nej, eller ett kalibrerat «osäker, lämna över») med en sannolikhet för varje alternativ.

Kai 1 är live på Hanzo API. Vikterna är stängda: Kai tillhandahålls endast via API.

Språkmodeller resonerar. Kai beslutar.

När du ber en språkmodell att fatta ett beslut får du text tillbaka. Du måste tolka den, lita på ett konfidensstal som modellen har hittat på och hoppas att utdata håller sig inom gränserna.

Kai är byggd för de steg där det inte räcker. Svaren är avgränsade, sannolikheterna är kalibrerade och det finns inget att tolka. Varje Kai-svar är en av fyra typer:

• Val: ett alternativ från en listad mängd, med en sannolikhet för vart och ett
• Poäng: en bedömning mot nivåer som du definierar
• Predikat: ett ja eller nej med sin sannolikhet
• Överlämning: Kai är inte tillräckligt säker och lämnar beslutet till en person eller en regel

Underlaget stannar kvar

Ett beslut ska inte bry sig om huruvida underlaget började som text, en bild eller en sensoravläsning. Kai är utformat för att ta blandat underlag och hålla dess ursprung knutet till varje svar.

Ett tal utan ursprung är bara ett tal.

Många beslut, en passering

Agentloopar ställer en fråga i taget. Kai är utformat för att köra ett helt beslutsprogram på en gång: ett gemensamt tillstånd, många beslut, med beroenden utskrivna. Säkra svar låses först, och bara de osäkra får mer arbete.

Målet är att ett program med tusentals beslut inte ska behöva tusentals seriella modellanrop.

Varje beslut kan spelas upp igen

Varje Kai-beslut registrerar programversionen, underlagets fingeravtryck, modellrevisionen, den fulla sannolikhetsfördelningen, godkännanden och exekveringsspåret. När någon frågar varför systemet gjorde något kan du visa det.

Där Kai passar

• Agenter: val av modell och verktyg, när man ska fortsätta eller stanna, när man ska fråga en människa
• Affärsflöden: leadpoäng, avsiktsdetektering, nästa bästa åtgärd, eskalering
• Fysiska system: fordon, robotik, tillverkning, energi och infrastruktur, där beslut körs på sensordata

En del av Hanzo-stacken

Generering och beslut är olika arbeten. Zen6 är vår familj av genereringsmodeller med öppna vikter. Kai 1 fattar avgränsade, kalibrerade beslut. Enso dirigerar varje uppgift till den som behövs.

Där det körs

Kai körs på Hanzo API, vid POST https://api.hanzo.ai/v1/decisions, för $0.021 per miljon indatatoken, och utdata är gratis. Vikterna är inte publicerade, och egen drift erbjuds inte.

Vad som kommer härnäst

Vi arbetar med sju öppna forskningsfrågor och publicerar resultat först när de kan återskapas:

1. Beslut över extremt stora alternativmängder
2. Flerspråkiga beslut
3. Avkodning med gemensamt tillstånd
4. Beslutsdiffusion (endast osäkra svar förfinas)
5. Multimodalt underlag
6. Kalibrering och att veta när man ska avstå
7. Konsekvens mellan sammankopplade beslut

Kai 1:s första resultat är publicerade. På de 12 huvudsviterna i en fryst beslutstest ligger Kai 1 i genomsnitt på 85.7% träffsäkerhet mot Jevs 78.0%. Den är träffsäkrare på 11 av 12 sviter, ligger efter på jailbreak (91.75% mot 94.0%), och kalibreringsfelet är lägre på 8 av 12. De körningarna mättes på CUDA; produktionssvar körs på CPU. Kai 1 är ännu inte konkurrenskraftig på beroende program med flera frågor, på nekande ja/nej-frågor, vid 150 eller fler alternativ eller på kalibrering för typade beslut och jailbreak, och vid 1,000 eller fler alternativ är träffsäkerheten nära noll. Varje tabell, med den körning varje tal kommer från: hanzo.ai/kai och Kai-dokumentationen.

---