Doe mee aan de Hanzo-bèta en krijg 50% korting op elk betaald abonnement

Kai 1: beslissingen, geen voltooiingen

Kai is het beslismodel van Hanzo, aangeboden via de Hanzo API. Geef het een expliciete toestand en een vraag met opgesomde opties, en het geeft een getypeerd, gekalibreerd antwoord terug: een keuze, een score, een ja of nee, of een gemotiveerd uitstel.

Op deze pagina

De meeste stappen in productiesoftware hebben geen alinea nodig. Ze hebben een antwoord nodig waarmee de software kan handelen: welke tool aan te roepen, of het bewijs volstaat, hoe zwaar een risico is, of een mens moet goedkeuren.

Vandaag introduceren we Kai 1, het beslismodel van Hanzo. Geef Kai de feiten van een situatie en een vraag met opgesomde opties. Het geeft een getypeerd antwoord terug (een keuze, een score, een ja of nee, of een gekalibreerd «niet zeker, ik stel uit») met een kans voor elke optie.

Kai 1 is actief op de Hanzo API. De gewichten zijn gesloten: Kai is alleen via de API beschikbaar.

Kai leest acht soorten bewijs over een voertuig en geeft gereed, moet worden nagekeken of niet gereed terug, elk met een kans, of legt het bij een mens.
Figuur 1 · Eén gedeelde toestand, één vraag met opties, één getypeerd antwoord met een kans voor elke optie. De kansen zijn illustratief.

Taalmodellen redeneren. Kai beslist.

Als je een taalmodel om een beslissing vraagt, krijg je tekst terug. Je moet die ontleden, vertrouwen op een zekerheidsgetal dat het model verzonnen heeft, en hopen dat de uitvoer binnen de grenzen blijft.

Kai is gebouwd voor de stappen waar dat niet volstaat. De antwoorden zijn begrensd, de kansen zijn gekalibreerd en er valt niets te ontleden. Elk antwoord van Kai is een van vier typen:

  • Keuze: één optie uit een opgesomde verzameling, met een kans voor elk
  • Score: een beoordeling tegen niveaus die je bepaalt
  • Predicaat: een ja of nee met de bijbehorende kans
  • Uitstel: Kai is niet zeker genoeg en geeft de beslissing aan een persoon of een regel

Bewijs blijft gekoppeld

Een beslissing hoort niet af te hangen van of het bewijs als tekst, beeld of sensormeting begon. Kai is ontworpen om gemengd bewijs te nemen en de herkomst aan elk antwoord vast te houden.

Een getal zonder herkomst is alleen een getal.

Vijftien soorten bewijs (tekst, code, beeld, video, audio, radar, lidar, thermisch, sensoren, telemetrie, tijdreeksen, graaf, SysML, simulatie en documenten) gaan door modaliteitsencoders naar één gedeelde bewijstoestand, die Kai voedt.
Figuur 2 · Tekst, beelden, sensormetingen en meer worden gecodeerd tot één gedeelde bewijstoestand die Kai leest.

Veel beslissingen, één doorgang

Agentlussen stellen één vraag tegelijk. Kai is ontworpen om een heel beslissingsprogramma in één keer te draaien: één gedeelde toestand, veel beslissingen, met de afhankelijkheden uitgeschreven. Zekere antwoorden worden eerst vastgezet, en alleen de onzekere krijgen meer werk.

Het doel is dat een programma met duizenden beslissingen geen duizenden modelaanroepen achter elkaar nodig heeft.

Een raster van 100 beslissingsknopen die allemaal gemaskeerd starten. 87 worden in de eerste doorgang opgelost, 11 in een tweede, en een doorgang met randvoorwaarden lost de laatste 2 conflicten op.
Figuur 3 · Zekere beslissingen liggen na de eerste doorgang vast; alleen de onzekere worden bijgeschaafd. De aantallen zijn illustratief.

Elke beslissing is opnieuw af te spelen

Elke beslissing van Kai legt de programmaversie, de vingerafdrukken van het bewijs, de modelrevisie, de volledige kansverdeling, de goedkeuringen en het uitvoeringsspoor vast. Als iemand vraagt waarom het systeem iets deed, kun je het laten zien.

Tien soorten bewijs over voertuig 17, van camera-inspectie en CAN-telemetrie tot SysML-architectuur en eisen, stromen een beslissingsprogramma in, dan Kai, dan controles op beleid en solver, dan menselijke goedkeuring, en eindigen in een beslissingspakket.
Figuur 4 · Van bewijs naar een beslissingspakket: de vastlegging waarmee een beslissing opnieuw is af te spelen. Illustratief voorbeeld.

Waar Kai past

  • Agenten: keuze van model en tool, wanneer doorgaan of stoppen, wanneer een mens vragen
  • Bedrijfsprocessen: leadscoring, intentherkenning, volgende beste actie, escalatie
  • Fysieke systemen: voertuigen, robotica, productie, energie en infrastructuur, waar beslissingen op sensordata draaien

Onderdeel van de Hanzo-stack

Enso stuurt elke taak: schrijven gaat naar Zen6, beslissingen gaan naar Kai 1.
Figuur 5 · De Hanzo-stack. Zen schrijft, Kai beslist, en Enso kiest welke van de twee wordt aangeroepen.

Genereren en beslissen zijn verschillende taken. Zen6 is onze familie van generatiemodellen met open gewichten. Kai 1 neemt begrensde, gekalibreerde beslissingen. Enso stuurt elke taak naar het model dat ervoor nodig is.

Waar het draait

Kai draait op de Hanzo API, op POST https://api.hanzo.ai/v1/decisions, voor $0.021 per miljoen invoertokens, waarbij uitvoertokens gratis zijn. De gewichten zijn niet gepubliceerd en zelf hosten wordt niet aangeboden.

Wat hierna komt

We werken aan zeven open onderzoeksvragen en publiceren resultaten pas als ze reproduceerbaar zijn:

  1. Beslissingen over extreem grote optieverzamelingen
  2. Meertalige beslissingen
  3. Decodering met gedeelde toestand
  4. Beslissingsdiffusie (alleen onzekere antwoorden bijschaven)
  5. Multimodaal bewijs
  6. Kalibratie en weten wanneer je je onthoudt
  7. Consistentie tussen verbonden beslissingen

De eerste resultaten van Kai 1 zijn gepubliceerd. Op de 12 belangrijkste reeksen van een bevroren beslissingstestbank haalt Kai 1 gemiddeld 85.7% nauwkeurigheid, tegen 78.0% voor Jev. Het is nauwkeuriger op 11 van 12 reeksen, loopt achter op jailbreak (91.75% tegen 94.0%) en de kalibratiefout is lager op 8 van 12. Die uitvoeringen zijn gemeten op CUDA; productieantwoorden draaien op CPU. Kai 1 is nog niet concurrerend op afhankelijke programma's met meerdere vragen, op ontkende ja/nee-vragen, vanaf 150 opties, of op kalibratie voor getypeerde beslissingen en jailbreak, en vanaf 1,000 opties ligt de nauwkeurigheid dicht bij nul. Elke tabel, met de uitvoering waar elk getal vandaan komt: hanzo.ai/kai en de Kai-documentatie.


Kai 1 · Hanzo API

Vraag niet langer één model om alles te doen

Roep Kai vandaag aan via de Hanzo API.

Reacties

Meld je aan met je Hanzo ID om te reageren.

Reacties laden…

Lees meer