Entre na beta da Hanzo e ganhe 50% de desconto em qualquer plano pago

Kai 1: decisões, não completações

Kai é o modelo de decisão da Hanzo, servido pela Hanzo API. Passe um estado explícito e uma pergunta com opções listadas, e ele devolve uma resposta tipada e calibrada: uma escolha, uma nota, um sim ou não, ou um adiamento justificado.

Nesta página

A maioria dos passos no software de produção não precisa de um parágrafo. Precisa de uma resposta com a qual o software consiga agir: qual ferramenta chamar, se a evidência basta, qual é a gravidade de um risco, se uma pessoa precisa autorizar.

Hoje apresentamos o Kai 1, o modelo de decisão da Hanzo. Entregue ao Kai os fatos de uma situação e uma pergunta com opções listadas. Ele devolve uma resposta tipada (uma escolha, uma nota, um sim ou não, ou um «não tenho certeza, passo adiante» calibrado) com uma probabilidade para cada opção.

O Kai 1 está no ar na Hanzo API. Os pesos são fechados: o Kai só é servido por API.

Kai lê oito tipos de evidência sobre um veículo e devolve pronto, precisa de revisão ou não está pronto, cada um com uma probabilidade, ou repassa para uma pessoa.
Figura 1 · Um estado compartilhado, uma pergunta com opções, uma resposta tipada com uma probabilidade para cada opção. As probabilidades são ilustrativas.

Modelos de linguagem raciocinam. Kai decide.

Quando você pede a um modelo de linguagem que tome uma decisão, o que volta é texto. Você precisa interpretá-lo, confiar num número de confiança que o modelo inventou e torcer para a saída ficar dentro dos limites.

O Kai foi feito para os passos em que isso não basta. As respostas dele são limitadas, as probabilidades são calibradas e não há nada para interpretar. Toda resposta do Kai é de um destes quatro tipos:

  • Escolha: uma opção de um conjunto listado, com uma probabilidade para cada uma
  • Nota: uma avaliação contra os níveis que você define
  • Predicado: um sim ou não, com a probabilidade
  • Adiamento: o Kai não está confiante o bastante e passa a decisão para uma pessoa ou uma regra

A evidência continua anexada

Uma decisão não deveria se importar se a evidência começou como texto, imagem ou leitura de sensor. O Kai foi desenhado para receber evidência mista e manter a origem presa a cada resposta.

Um número sem procedência é só um número.

Quinze tipos de evidência (texto, código, imagem, vídeo, áudio, radar, lidar, térmica, sensores, telemetria, séries temporais, grafo, SysML, simulação e documentos) passam por codificadores de modalidade até um estado de evidência compartilhado, que alimenta o Kai.
Figura 2 · Texto, imagens, leituras de sensores e o restante são codificados num estado de evidência compartilhado que o Kai lê.

Muitas decisões, uma só passada

Os laços dos agentes fazem uma pergunta de cada vez. O Kai foi desenhado para rodar um programa de decisão inteiro de uma vez: um estado compartilhado, muitas decisões, com as dependências explicitadas. As respostas confiantes são travadas primeiro, e só as incertas recebem mais trabalho.

A meta é que um programa com milhares de decisões não precise de milhares de chamadas em série ao modelo.

Uma grade de 100 nós de decisão que começam todos mascarados. 87 se resolvem na primeira passada, 11 numa segunda, e uma passada de restrições resolve os últimos 2 conflitos.
Figura 3 · As decisões confiantes assentam na primeira passada; só as incertas são refinadas. As contagens são ilustrativas.

Toda decisão pode ser reexecutada

Cada decisão do Kai registra a versão do programa, as impressões da evidência, a revisão do modelo, a distribuição de probabilidade completa, as aprovações e o rastro de execução. Quando alguém pergunta por que o sistema fez algo, você pode mostrar.

Dez tipos de evidência sobre o veículo 17, da inspeção por câmera e da telemetria CAN até a arquitetura e os requisitos em SysML, entram num programa de decisão, depois no Kai, depois nas checagens de política e do solucionador, depois na aprovação humana, e terminam num pacote de decisão.
Figura 4 · Da evidência a um pacote de decisão: o registro que permite reexecutar uma decisão. Exemplo ilustrativo.

Onde o Kai se encaixa

  • Agentes: escolha de modelo e de ferramenta, quando continuar ou parar, quando perguntar a uma pessoa
  • Fluxos de negócio: pontuação de leads, detecção de intenção, próxima melhor ação, escalonamento
  • Sistemas físicos: veículos, robótica, manufatura, energia e infraestrutura, onde as decisões rodam sobre dados de sensores

Parte do stack da Hanzo

Enso encaminha cada tarefa: a escrita vai para o Zen6 e as decisões vão para o Kai 1.
Figura 5 · O stack da Hanzo. Zen escreve, Kai decide, e Enso escolhe qual chamar.

Gerar e decidir são trabalhos diferentes. Zen6 é a nossa família de modelos de geração com pesos abertos. Kai 1 toma decisões limitadas e calibradas. Enso encaminha cada tarefa para o modelo que ela precisa.

Onde ele roda

O Kai roda na Hanzo API, em POST https://api.hanzo.ai/v1/decisions, por $0.021 por milhão de tokens de entrada, e os tokens de saída são de graça. Os pesos não são publicados, e ele não é oferecido para hospedagem própria.

O que vem pela frente

Estamos trabalhando em sete perguntas de pesquisa em aberto e só vamos publicar resultados quando eles puderem ser reproduzidos:

  1. Decisões sobre conjuntos de opções extremamente grandes
  2. Decisões multilíngues
  3. Decodificação com estado compartilhado
  4. Difusão de decisões (refinar só as respostas incertas)
  5. Evidência multimodal
  6. Calibração e saber quando se abster
  7. Consistência entre decisões conectadas

Os primeiros resultados do Kai 1 estão publicados. Nas 12 suítes principais de um banco de testes de decisão congelado, o Kai 1 chega em média a 85.7% de acerto, contra 78.0% do Jev. Ele é mais preciso em 11 de 12 suítes, fica atrás no jailbreak (91.75% contra 94.0%) e o erro de calibração é menor em 8 de 12. Essas rodadas foram medidas em CUDA; as respostas de produção saem em CPU. O Kai 1 ainda não compete em programas de várias perguntas dependentes, em perguntas de sim ou não negadas, a partir de 150 opções, nem na calibração de decisões tipadas e de jailbreak, e a partir de 1,000 opções a precisão fica perto de zero. Cada tabela, com a rodada de onde sai cada número: hanzo.ai/kai e a documentação do Kai.


Kai 1 · Hanzo API

Pare de pedir a um só modelo que faça tudo

Chame o Kai pela Hanzo API hoje.

Comentários

Entre com seu Hanzo ID para comentar.

Carregando comentários…

Leia mais