Rejoignez la bêta Hanzo et obtenez 50 % de réduction sur toute offre payante

Kai 1 : des décisions, pas des complétions

Kai est le modèle de décision de Hanzo, servi par la Hanzo API. Donnez-lui un état explicite et une question aux options énumérées : il renvoie une réponse typée et calibrée, un choix, un score, un oui ou un non, ou un renvoi argumenté.

Sur cette page

La plupart des étapes d'un logiciel en production n'ont pas besoin d'un paragraphe. Il leur faut une réponse sur laquelle le logiciel peut agir : quel outil appeler, si les éléments suffisent, quelle est la gravité d'un risque, si un humain doit donner son accord.

Aujourd'hui, nous présentons Kai 1, le modèle de décision de Hanzo. Donnez à Kai les faits d'une situation et une question aux options énumérées. Il renvoie une réponse typée (un choix, un score, un oui ou un non, ou un « pas sûr, je m'en remets » calibré) avec une probabilité pour chaque option.

Kai 1 est en ligne sur la Hanzo API. Ses poids sont fermés : Kai n'est servi que par API.

Kai lit huit types d'éléments sur un véhicule et renvoie prêt, à revoir ou pas prêt, chacun avec une probabilité, ou s'en remet à un humain.
Figure 1 · Un état partagé, une question aux options énumérées, une réponse typée avec une probabilité pour chaque option. Les probabilités sont illustratives.

Les modèles de langage raisonnent. Kai décide.

Quand vous demandez à un modèle de langage de trancher, vous récupérez du texte. Il faut l'analyser, faire confiance à un chiffre de confiance inventé par le modèle, et espérer que la sortie reste dans les limites.

Kai est conçu pour les étapes où cela ne suffit pas. Ses réponses sont bornées, ses probabilités sont calibrées, et il n'y a rien à analyser. Chaque réponse de Kai appartient à l'un de ces quatre types :

  • Choix : une option parmi un ensemble énuméré, avec une probabilité pour chacune
  • Score : une note selon les niveaux que vous définissez
  • Prédicat : un oui ou un non, avec sa probabilité
  • Renvoi : Kai n'est pas assez confiant et transmet la décision à une personne ou à une règle

La preuve reste attachée

Une décision ne devrait pas dépendre du fait que sa preuve a commencé comme du texte, une image ou une lecture de capteur. Kai est conçu pour prendre des preuves mixtes et garder leur origine attachée à chaque réponse.

Un nombre sans provenance n'est qu'un nombre.

Quinze types de preuves (texte, code, image, vidéo, audio, radar, lidar, thermique, capteurs, télémétrie, séries temporelles, graphe, SysML, simulation et documents) passent par des encodeurs de modalité vers un état de preuve partagé, qui alimente Kai.
Figure 2 · Textes, images, lectures de capteurs et le reste sont encodés dans un état de preuve partagé que Kai lit.

Beaucoup de décisions, une seule passe

Les boucles d'agents posent une question à la fois. Kai est conçu pour exécuter tout un programme de décision d'un coup : un état partagé, de nombreuses décisions, avec les dépendances écrites. Les réponses assurées sont figées en premier, et seules les incertaines reçoivent davantage de travail.

Le but est qu'un programme de plusieurs milliers de décisions se passe de milliers d'appels au modèle, les uns après les autres.

Une grille de 100 nœuds de décision qui commencent tous masqués. 87 se résolvent au premier passage, 11 à un second, et un passage de contraintes résout les 2 derniers conflits.
Figure 3 · Les décisions assurées se figent au premier passage ; seules les incertaines sont affinées. Les chiffres sont illustratifs.

Chaque décision peut être rejouée

Chaque décision de Kai enregistre la version du programme, les empreintes des preuves, la révision du modèle, la distribution de probabilité complète, les approbations et la trace d'exécution. Quand quelqu'un demande pourquoi le système a agi, vous pouvez le lui montrer.

Dix types de preuves sur le véhicule 17, de l'inspection caméra et de la télémétrie CAN jusqu'à l'architecture et aux exigences SysML, entrent dans un programme de décision, puis dans Kai, puis dans les contrôles de politique et de solveur, puis dans l'approbation humaine, pour finir dans un paquet de décision.
Figure 4 · De la preuve à un paquet de décision : l'enregistrement qui permet de rejouer une décision. Exemple illustratif.

Où Kai trouve sa place

  • Agents : choix du modèle et de l'outil, quand continuer ou s'arrêter, quand demander à un humain
  • Flux métier : score des prospects, détection d'intention, prochaine meilleure action, escalade
  • Systèmes physiques : véhicules, robotique, fabrication, énergie et infrastructures, là où les décisions s'appuient sur des données de capteurs

Dans la pile Hanzo

Enso oriente chaque tâche : la rédaction va à Zen6, les décisions vont à Kai 1.
Figure 5 · La pile Hanzo. Zen écrit, Kai décide, et Enso choisit lequel appeler.

Générer et décider sont deux métiers différents. Zen6 est notre famille de modèles de génération à poids ouverts. Kai 1 prend des décisions bornées et calibrées. Enso oriente chaque tâche vers celui dont elle a besoin.

Où Kai s'exécute

Kai s'exécute sur la Hanzo API, à POST https://api.hanzo.ai/v1/decisions, pour $0.021 par million de jetons d'entrée, les jetons de sortie étant gratuits. Ses poids ne sont pas publiés, et il n'est pas proposé en auto-hébergement.

Et ensuite

Nous travaillons sur sept questions de recherche ouvertes, et nous ne publierons les résultats qu'une fois qu'ils pourront être reproduits :

  1. Décisions sur des ensembles d'options extrêmement grands
  2. Décisions multilingues
  3. Décodage à état partagé
  4. Diffusion de décisions (n'affiner que les réponses incertaines)
  5. Preuves multimodales
  6. Calibration et savoir quand s'abstenir
  7. Cohérence entre décisions reliées

Les premiers résultats de Kai 1 sont publiés. Sur les 12 suites principales d'un banc d'essai de décision figé, Kai 1 atteint en moyenne 85.7% de justesse, contre 78.0% pour Jev. Il est plus juste sur 11 des 12 suites, en retrait sur le jailbreak (91.75% contre 94.0%), et son erreur de calibration est plus faible sur 8 des 12. Ces exécutions ont été mesurées sur CUDA ; les réponses de production, sur CPU. Kai 1 n'est pas encore compétitif sur les programmes à questions dépendantes, sur les questions oui/non niées, à partir de 150 options, ni sur la calibration des décisions typées et du jailbreak, et à partir de 1,000 options sa justesse est proche de zéro. Chaque tableau, avec l'exécution d'où vient chaque nombre : hanzo.ai/kai et la documentation de Kai.


Kai 1 · Hanzo API

Arrêtez de demander à un seul modèle de tout faire

Appelez Kai via la Hanzo API dès aujourd'hui.

Commentaires

Connectez-vous avec votre identifiant Hanzo pour commenter.

Chargement des commentaires…

Lire la suite