Bli med i Hanzo-betaen og få 50 % avslag på alle betalte planer

Kai 1: Avgjørelser, ikke fullføringer

Kai er avgjørelsesmodellen til Hanzo, levert av Hanzo API. Gi den en eksplisitt tilstand og et spørsmål med oppførte alternativer, så returnerer den et typet, kalibrert svar — et valg, en skår, et ja eller nei, eller en begrunnet utsettelse.

På denne siden

De fleste stegene i produksjonsprogramvare trenger ikke et avsnitt. De trenger et svar programvaren kan handle på: hvilket verktøy som skal kalles, om beviset holder, hvor alvorlig en risiko er, og om et menneske må godkjenne.

I dag lanserer vi Kai 1, avgjørelsesmodellen til Hanzo. Gi Kai fakta om en situasjon og et spørsmål med oppførte alternativer. Kai returnerer et typet svar (et valg, en skår, et ja eller nei, eller et kalibrert «ikke sikker, utsett») med en sannsynlighet for hvert alternativ.

Kai 1 er live på Hanzo API. Vektene er lukket: Kai leveres bare via API.

Kai leser åtte slags bevis om et kjøretøy og returnerer klar, trenger gjennomgang eller ikke klar, hver med en sannsynlighet, eller overlater det til et menneske.
Figur 1 · Én delt tilstand, ett oppført spørsmål, ett typet svar med en sannsynlighet for hvert alternativ. Sannsynlighetene er illustrative.

Språkmodeller resonnerer. Kai avgjør.

Når du ber en språkmodell om å ta en avgjørelse, får du tekst tilbake. Du må tolke den, stole på et konfidensstall modellen har funnet på, og håpe at resultatet holder seg innenfor grensene.

Kai er bygget for stegene der det ikke holder. Svarene er avgrenset, sannsynlighetene er kalibrert, og det er ingenting å tolke. Hvert Kai-svar er én av fire typer:

  • Valg: ett alternativ fra et oppført sett, med en sannsynlighet for hvert
  • Skår: en vurdering mot nivåer du definerer
  • Predikat: et ja eller nei med sin sannsynlighet
  • Utsettelse: Kai er ikke trygg nok og gir avgjørelsen til en person eller en regel

Beviset blir værende

En avgjørelse skal ikke bry seg om beviset startet som tekst, et bilde eller en sensoravlesning. Kai er laget for å ta blandet bevis og holde opphavet knyttet til hvert svar.

Et tall uten opphav er bare et tall.

Femten slags bevis (tekst, kode, bilde, video, lyd, radar, lidar, termisk, sensorer, telemetri, tidsserier, graf, SysML, simulering og dokumenter) går gjennom modalitetskodere til én delt bevistilstand som mater Kai.
Figur 2 · Tekst, bilder, sensoravlesninger og mer kodes inn i én delt bevistilstand som Kai leser.

Mange avgjørelser, én passering

Agentløkker stiller ett spørsmål om gangen. Kai er laget for å kjøre et helt avgjørelsesprogram på én gang: én delt tilstand, mange avgjørelser, med avhengigheter skrevet ut. Trygge svar låses først, og bare de usikre får mer arbeid.

Målet er at et program med tusenvis av avgjørelser ikke skal trenge tusenvis av serielle modellkall.

Et rutenett med 100 avgjørelsesnoder som alle starter maskert. 87 avgjøres i første passering, 11 i en andre, og en begrensningspassering løser de siste 2 konfliktene.
Figur 3 · Trygge avgjørelser faller på plass i første passering; bare de usikre finslipes. Tallene er illustrative.

Hver avgjørelse kan spilles av på nytt

Hver Kai-avgjørelse registrerer programversjonen, bevisets fingeravtrykk, modellrevisjonen, den fulle sannsynlighetsfordelingen, godkjenninger og kjøresporet. Når noen spør hvorfor systemet gjorde noe, kan du vise det.

Ti slags bevis om kjøretøy 17, fra kamerainspeksjon og CAN-telemetri til SysML-arkitektur og krav, flyter inn i et avgjørelsesprogram, deretter Kai, deretter policy- og løserkontroller, deretter menneskelig godkjenning, og ender i en avgjørelsespakke.
Figur 4 · Fra bevis til en avgjørelsespakke: posten som lar en avgjørelse spilles av på nytt. Illustrerende eksempel.

Der Kai passer

  • Agenter: valg av modell og verktøy, når man skal fortsette eller stoppe, når man skal spørre et menneske
  • Forretningsflyter: leadscoring, intensjonsgjenkjenning, neste beste handling, eskalering
  • Fysiske systemer: kjøretøy, robotikk, produksjon, energi og infrastruktur, der avgjørelser kjører på sensordata

En del av Hanzo-stabelen

Enso ruter hver oppgave: skriving går til Zen6, avgjørelser går til Kai 1.
Figur 5 · Hanzo-stabelen. Zen skriver, Kai avgjør, og Enso velger hvilken som skal kalles.

Generering og avgjørelse er ulike jobber. Zen6 er familien vår av genereringsmodeller med åpne vekter. Kai 1 tar avgrensede, kalibrerte avgjørelser. Enso ruter hver oppgave til den som trengs.

Der det kjører

Kai kjører på Hanzo API, på POST https://api.hanzo.ai/v1/decisions, for $0.021 per million inndatatoken, og utdata er gratis. Vektene er ikke publisert, og egen drifting tilbys ikke.

Hva som kommer

Vi jobber med sju åpne forskningsspørsmål, og vi publiserer resultater først når de kan gjenskapes:

  1. Avgjørelser over ekstremt store alternativmengder
  2. Flerspråklige avgjørelser
  3. Dekoding med delt tilstand
  4. Avgjørelsesdiffusjon (bare usikre svar finslipes)
  5. Multimodalt bevis
  6. Kalibrering og å vite når man skal avstå
  7. Konsistens på tvers av sammenkoblede avgjørelser

De første resultatene for Kai 1 er publisert. På de 12 hovedseriene i en frosset avgjørelsestest ligger Kai 1 i snitt på 85.7% treff mot 78.0% hos Jev. Den treffer bedre på 11 av 12 serier, henger etter på jailbreak (91.75% mot 94.0%), og kalibreringsfeilen er lavere på 8 av 12. De kjøringene ble målt på CUDA; produksjonssvar kjører på CPU. Kai 1 er ennå ikke konkurransedyktig på avhengige programmer med flere spørsmål, på negerte ja/nei-spørsmål, ved 150 eller flere alternativer, eller på kalibrering for typede avgjørelser og jailbreak, og ved 1,000 eller flere alternativer er treffsikkerheten nær null. Hver tabell, med kjøringen hvert tall kommer fra: hanzo.ai/kai og Kai-dokumentasjonen.


Kai 1 · Hanzo API

Slutt å be én modell gjøre alt

Kall Kai gjennom Hanzo API i dag.

Kommentarer

Logg inn med Hanzo ID for å kommentere.

Laster kommentarer…

Les mer