ZTC-Judge-27B modeli cevapların güvenliğini değerlendirmek için sunulmuştur

Geliştiriciler, diğer sinir ağlarının cevaplarının kalitesini otomatik olarak değerlendirmek için tasarlanmış ZTC-Judge-27B adlı özel bir modeli sundu. Araç, "sıfır token güvenliği" (zero-token confidence) yöntemini kullanır ve bu da tek bir doğrudan geçiş (forward pass) kapsamında puanlar verilmesine olanak tanır.

Model, daha önce karşılaşılmayan alanlarda 0.7282 AUC değerini gösteriyor. Test sırasında sistem, beş farklı sorun kategorisinde standart yüzey değerlendirme yöntemlerine (surface baselines) göre üstünlük gösterdi. Bir cevabın değerlendirme süreci yaklaşık 1 saat sürerken, model dahili hiệuิภาพ ölçeğinde 14 puan elde ediyor.

ZTC-Judge-27B mimarisi, ek iterasyonlara veya karmaşık promt'lara gerek duyulmayan bağımsız bir hakem olarak çalışmak için optimize edilmiştir. Modelin kaynak kodu ve ağırlıkları, Hugging Face platformunda indirilmeye hazır.

Benzer araçların uygulanması, insan kaynaklarına başvurmadan üretken sistemlerin kalite kontrolünü otomatikleştirmeye olanak tanır. Modelin geliştirme.pipeline'lerinde kullanılması, LLM cevaplarındaki halüsinasyonları ve hataları daha doğru bir şekilde belirlemeye yardımcı olur ve böylece gerçek zamanlı olarak içerik için daha katı bir filtreleme sağlar.