Geliştiriciler KaLM-Jev hizmetini olasılık değerlendirmesi için sundu

KaLM-Jev ekibi, dil modellerinin cevaplarının otomatik olarak değerlendirilmesini sağlayan bir yerel hizmet yayınladı. Araç, seçim (Choice), puanlama (Score) ve yargı (Noul) görevlerinde uzmanlaşmış ve analize yönelik olarak KaLM-Reranker ailesinin özel modellerini kullanıyor.

Sistem mimarisi, her modelin ayrı bir izole edilmiş işlemde çalıştırılmasını içerir. Standart sohbet arayüzlerinin aksine, hizmet metin cevapları oluşturmaz, bunun yerine yapılandırılmış olasılıkları döndürür. Bu yaklaşım, doğal dil ayrıştırmaya gerek kalmadan, sistemin otomatik test ve kalite değerlendirmesi boru hatlarına entegre edilmesine olanak tanır.

Proje, birden fazla cevap seçeneğini karşılaştırırken yüksek doğruluk gerektiren geliştiricilere yöneliktir. KaLM-Reranker kullanılması, sistemlerin sonuçları matematiksel olasılık göstergelerine dayanarak değil, öznel metin açıklamalarına dayanarak etkili bir şekilde sıralamasına olanak tanır. Çözümün kaynak kodu, GitHub'da ücretsiz bir lisans altında yayınlandı.

Bu tür araçların uygulanması, LLM değerlendirmesinin standardizasyonuna olanak tanır ve "halüsinasyonlar" veya model yargıcının stil tercihlerinin etkisini ortadan kaldırır. Metin raporları yerine yapılandırılmış verilerin kullanılması, yeni sinir ağları sürümlerinin benchmarking sırasında büyük veri kümelerinin işlenmesini hızlandırır.