Kai 1: Tamamlamalar değil, kararlar

Üretim yazılımındaki adımların çoğu bir paragrafa ihtiyaç duymaz. Yazılımın harekete geçebileceği bir yanıta ihtiyaç duyar: hangi araç çağrılacak, kanıt yeterli mi, bir risk ne kadar ciddi, bir insanın onay vermesi gerekiyor mu.

Bugün Kai 1'i tanıtıyoruz: Hanzo'nun karar modeli. Kai'ye bir durumun olgularını ve seçenekleri sıralanmış bir soru verin. Her seçenek için bir olasılıkla birlikte türü belli bir yanıt döner (bir seçim, bir puan, evet ya da hayır, ya da kalibre edilmiş bir «emin değilim, ertele»).

Kai 1, Hanzo API üzerinde yayında. Ağırlıkları kapalıdır: Kai yalnızca API ile sunulur.

Dil modelleri akıl yürütür. Kai karar verir.

Bir dil modelinden karar vermesini istediğinizde geriye metin alırsınız. Onu ayrıştırmanız, modelin uydurduğu bir güven sayısına güvenmeniz ve çıktının sınırlar içinde kalmasını ummanız gerekir.

Kai, bunun yetmediği adımlar için kuruldu. Yanıtları sınırlıdır, olasılıkları kalibrelidir ve ayrıştırılacak bir şey yoktur. Her Kai yanıtı dört türden biridir:

• Seçim: listelenmiş bir kümeden bir seçenek, her biri için bir olasılıkla
• Puan: sizin tanımladığınız düzeylere göre bir değerlendirme
• Yüklem: olasılığıyla birlikte bir evet ya da hayır
• Erteleme: Kai yeterince emin değildir ve kararı bir kişiye ya da bir kurala bırakır

Kanıt bağlı kalır

Bir karar, kanıtının metin, görüntü ya da sensör okuması olarak başlamış olmasına aldırmamalıdır. Kai, karışık kanıtı almak ve kökenini her yanıta bağlı tutmak için tasarlandı.

Kökeni olmayan bir sayı yalnızca bir sayıdır.

Çok sayıda karar, tek geçiş

Etmen döngüleri bir seferde tek bir soru sorar. Kai, bütün bir karar programını bir anda çalıştırmak için tasarlandı: tek bir paylaşılan durum, birçok karar, bağımlılıklar açıkça yazılmış. Emin yanıtlar önce kilitlenir ve ek işi yalnızca belirsiz olanlar alır.

Amaç, binlerce kararı olan bir programın binlerce seri model çağrısına ihtiyaç duymamasıdır.

Her karar yeniden oynatılabilir

Her Kai kararı program sürümünü, kanıt parmak izlerini, model revizyonunu, tam olasılık dağılımını, onayları ve yürütme izini kaydeder. Biri sistemin neden bir şeyi yaptığını sorduğunda gösterebilirsiniz.

Kai nerede durur

• Etmenler: model ve araç seçimi, ne zaman sürdürüleceği ya da durulacağı, ne zaman bir insana sorulacağı
• İş akışları: müşteri adayı puanlama, niyet algılama, sonraki en iyi eylem, yükseltme
• Fiziksel sistemler: taşıtlar, robotik, üretim, enerji ve altyapı; kararların sensör verisi üzerinde çalıştığı yerler

Hanzo yığınının parçası

Üretim ve karar farklı işlerdir. Zen6, açık ağırlıklı üretim modellerimizden oluşan ailedir. Kai 1 sınırlı, kalibre edilmiş kararlar verir. Enso her görevi ihtiyaç duyduğu modele yönlendirir.

Nerede çalışır

Kai, Hanzo API üzerinde POST https://api.hanzo.ai/v1/decisions adresinde, milyon giriş belirteci başına $0.021 karşılığında çalışır; çıktı ücretsizdir. Ağırlıkları yayımlanmaz ve kendi sunucunuzda barındırma sunulmaz.

Sırada ne var

Yedi açık araştırma sorusu üzerinde çalışıyoruz ve sonuçları ancak yeniden üretilebildiklerinde yayımlayacağız:

1. Son derece büyük seçenek kümeleri üzerinde kararlar
2. Çok dilli kararlar
3. Paylaşılan durumla kod çözme
4. Karar difüzyonu (yalnızca belirsiz yanıtların inceltilmesi)
5. Çok kipli kanıt
6. Kalibrasyon ve ne zaman çekimser kalınacağını bilmek
7. Birbirine bağlı kararlar arasında tutarlılık

Kai 1'in ilk sonuçları yayımlandı. Dondurulmuş bir karar düzeneğinin 12 başlık kümesinde Kai 1, Jev'in 78.0% değerine karşı ortalama 85.7% doğruluk gösterir. 12 kümenin 11'inde daha doğrudur, jailbreak'te geridedir (91.75% karşısında 94.0%) ve kalibrasyon hatası 12 kümenin 8'inde daha düşüktür. Bu koşular CUDA üzerinde ölçüldü; üretim yanıtları CPU üzerindedir. Kai 1, bağımlı çok sorulu programlarda, olumsuz evet/hayır sorularında, 150 ya da daha fazla seçenekte veya türü belli kararlar ile jailbreak kalibrasyonunda henüz rekabetçi değildir ve 1,000 ya da daha fazla seçenekte doğruluğu sıfıra yakındır. Her tablo, her sayının geldiği koşuyla birlikte: hanzo.ai/kai ve Kai belgeleri.

---