Laya motoru yapılandırılmış kararlar almak için sunulmuştur

Geliştiriciler, Laya adlı, metin oluşturma aşamasını ortadan kaldıran, tiplenmiş sorguları işleyen özel bir motoru sundu. Sistem, keyfi veri durumlarıyla çalışmaya ve sıkı bir şekilde yapılandırılmış yanıtlar vermeye yöneliktir.

Mimarinin temel özelliği, otoregresyon olmayan yaklaşım olup, sorgu değerlendirmesinin tek bir doğrudan geçişte yapılmasına olanak tanır. Bir sorgunun işleme süresi yaklaşık 35 ms olup, bu, standart LLM'lerden önemli ölçüde daha hızlıdır ve bunlar, tokenlerin ardışık olarak üretilmesini gerektirir.

Yanıtları oluşturmanın yanı sıra, araç ayrıca kalibrasyon güvenliği değerlendirmeleri (güven skorları) otomatik olarak hesaplar. Bu, sistemın alınan kararın güvenilirlik derecesini gerçek zamanlı olarak sinyal vermesine olanak tanır. Proje, yüksek yük sistemlerine entegrasyonu sağlayan bir lisans altında GitHub'da açık erişimle yayınlandı.

Üretim aşamasının olmaması, çıkının, çıktı öngörülebilirliği ve düşük gecikmenin kritik önem taşıdığı görevler için uygun olmasını sağlar. Teknoloji, anlık olarak sistem durumu değişikliklerine tepki verme gereksinimi duyan ve doğal dil oluşturmak için hesaplama kaynakları harcamayan iş mantığı ve analitik süreçlerin otomasyonuna yöneliktir.