Unisciti alla beta di Hanzo e ottieni il 50% di sconto su qualsiasi piano a pagamento

Kai 1: decisioni, non completamenti

Kai è il modello di decisione di Hanzo, servito dalla Hanzo API. Dagli uno stato esplicito e una domanda con opzioni elencate, e restituisce una risposta tipizzata e calibrata: una scelta, un punteggio, un sì o un no, oppure un rinvio motivato.

In questa pagina

La maggior parte dei passi nel software di produzione non ha bisogno di un paragrafo. Ha bisogno di una risposta su cui il software possa agire: quale strumento chiamare, se le evidenze bastano, quanto è grave un rischio, se una persona deve approvare.

Oggi presentiamo Kai 1, il modello di decisione di Hanzo. Dai a Kai i fatti di una situazione e una domanda con opzioni elencate. Restituisce una risposta tipizzata (una scelta, un punteggio, un sì o un no, oppure un «non sono sicuro, rimando» calibrato) con una probabilità per ogni opzione.

Kai 1 è attivo sulla Hanzo API. I pesi sono chiusi: Kai è servito solo via API.

Kai legge otto tipi di evidenza su un veicolo e restituisce pronto, da rivedere o non pronto, ciascuno con una probabilità, oppure rimanda a una persona.
Figura 1 · Uno stato condiviso, una domanda con opzioni, una risposta tipizzata con una probabilità per ogni opzione. Le probabilità sono illustrative.

I modelli linguistici ragionano. Kai decide.

Quando chiedi a un modello linguistico di prendere una decisione, ti torna del testo. Devi analizzarlo, fidarti di un numero di confidenza che il modello si è inventato e sperare che l'uscita resti nei limiti.

Kai è costruito per i passi in cui questo non basta. Le sue risposte sono delimitate, le sue probabilità sono calibrate e non c'è nulla da analizzare. Ogni risposta di Kai è di uno di quattro tipi:

  • Scelta: un'opzione da un insieme elencato, con una probabilità per ciascuna
  • Punteggio: una valutazione rispetto ai livelli che definisci
  • Predicato: un sì o un no, con la sua probabilità
  • Rinvio: Kai non è abbastanza sicuro e passa la decisione a una persona o a una regola

L'evidenza resta attaccata

Una decisione non dovrebbe curarsi se la sua evidenza è nata come testo, immagine o lettura di un sensore. Kai è progettato per prendere evidenza mista e tenere l'origine attaccata a ogni risposta.

Un numero senza provenienza è solo un numero.

Quindici tipi di evidenza (testo, codice, immagine, video, audio, radar, lidar, termico, sensori, telemetria, serie temporali, grafo, SysML, simulazione e documenti) passano attraverso encoder di modalità in un unico stato di evidenza condiviso, che alimenta Kai.
Figura 2 · Testo, immagini, letture dei sensori e altro sono codificati in un unico stato di evidenza condiviso che Kai legge.

Molte decisioni, un solo passaggio

I cicli degli agenti fanno una domanda alla volta. Kai è progettato per eseguire un intero programma di decisione in una volta: uno stato condiviso, molte decisioni, con le dipendenze scritte. Le risposte sicure vengono fissate per prime, e solo quelle incerte ricevono altro lavoro.

L'obiettivo è che un programma con migliaia di decisioni non abbia bisogno di migliaia di chiamate in serie al modello.

Una griglia di 100 nodi di decisione che partono tutti mascherati. 87 si risolvono al primo passaggio, 11 a un secondo, e un passaggio di vincoli risolve gli ultimi 2 conflitti.
Figura 3 · Le decisioni sicure si assestano al primo passaggio; si rifiniscono solo quelle incerte. I conteggi sono illustrativi.

Ogni decisione si può rieseguire

Ogni decisione di Kai registra la versione del programma, le impronte dell'evidenza, la revisione del modello, la distribuzione di probabilità completa, le approvazioni e la traccia di esecuzione. Quando qualcuno chiede perché il sistema ha fatto qualcosa, puoi mostrarglielo.

Dieci tipi di evidenza sul veicolo 17, dall'ispezione con telecamera e dalla telemetria CAN fino all'architettura e ai requisiti SysML, confluiscono in un programma di decisione, poi in Kai, poi nei controlli di politica e del risolutore, poi nell'approvazione umana, e finiscono in un pacchetto di decisione.
Figura 4 · Dall'evidenza a un pacchetto di decisione: il registro che permette di rieseguire una decisione. Esempio illustrativo.

Dove entra Kai

  • Agenti: scelta di modello e strumento, quando continuare o fermarsi, quando chiedere a una persona
  • Flussi di lavoro aziendali: punteggio dei potenziali clienti, rilevamento dell'intento, prossima azione migliore, escalation
  • Sistemi fisici: veicoli, robotica, produzione, energia e infrastrutture, dove le decisioni girano su dati dei sensori

Parte dello stack Hanzo

Enso smista ogni compito: la scrittura va a Zen6, le decisioni vanno a Kai 1.
Figura 5 · Lo stack Hanzo. Zen scrive, Kai decide, ed Enso sceglie quale chiamare.

Generare e decidere sono lavori diversi. Zen6 è la nostra famiglia di modelli di generazione a pesi aperti. Kai 1 prende decisioni delimitate e calibrate. Enso smista ogni compito verso quello che serve.

Dove gira

Kai gira sulla Hanzo API, a POST https://api.hanzo.ai/v1/decisions, a $0.021 per milione di token in ingresso, con i token in uscita gratuiti. I pesi non sono pubblicati e non è offerto per chi vuole ospitarlo in proprio.

Che cosa viene dopo

Stiamo lavorando a sette domande di ricerca aperte e pubblicheremo i risultati solo quando saranno riproducibili:

  1. Decisioni su insiemi di opzioni estremamente grandi
  2. Decisioni multilingue
  3. Decodifica a stato condiviso
  4. Diffusione delle decisioni (rifinire solo le risposte incerte)
  5. Evidenza multimodale
  6. Calibrazione e sapere quando astenersi
  7. Coerenza tra decisioni collegate

I primi risultati di Kai 1 sono pubblicati. Sulle 12 batterie principali di un banco di prova decisionale congelato, Kai 1 raggiunge in media l'85.7% di accuratezza contro il 78.0% di Jev. È più accurato in 11 batterie su 12, è indietro sul jailbreak (91.75% contro 94.0%) e il suo errore di calibrazione è più basso in 8 batterie su 12. Quelle esecuzioni sono state misurate su CUDA; le risposte di produzione girano su CPU. Kai 1 non è ancora competitivo sui programmi a più domande dipendenti, sulle domande sì/no negate, da 150 opzioni in su, né sulla calibrazione delle decisioni tipizzate e del jailbreak, e da 1,000 opzioni in su la sua accuratezza è vicina a zero. Ogni tabella, con l'esecuzione da cui arriva ogni numero: hanzo.ai/kai e la documentazione di Kai.


Kai 1 · Hanzo API

Smetti di chiedere a un solo modello di fare tutto

Chiama Kai oggi tramite la Hanzo API.

Commenti

Accedi con il tuo Hanzo ID per commentare.

Caricamento dei commenti…

Leggi di più