Araştırmacılar AI ajanlarının halüsinasyonlarıyla mücadele için HTB benchmark'ini sundu

Araştırmacılar, nöral ağ ajanlarının var olmayan araçları çağırma sorununu analiz ettiği Closed-World Resolution Against Tool Hallucination in LLM Agents adlı bir çalışma yayınladılar. Yazarlar, mevcut filtreleme yöntemlerinin, hiçbir şema ile eşleşmeyen çağrıların oluşturulmasını önleyemeyeceğini kanıtladılar.

Araştırmalar sırasında, beş kategoriye (H1-H5) sahip bir halüsinasyon sınıflandırması geliştirildi. On model test edildi ve parametre sayısının artmasının hata sıklığını azaltmadığı görüldü: 675 milyar parametreli modeller, 7-8 milyar parametreli kompakt çözümlerle aynı performansı gösterdi. Toplam 322 olay var olmayan fonksiyon oluşturuldu ve yapılandırılmamış JSON formatının kullanılması hata sayısını 11 kat artırdı.

Model Context Protocol protokolüne özel dikkat gösterildi. Birden fazla sunucunun tek bir ad alanı olarak birleştirilmesi, daha önce izole ortamlarda başarılı bir şekilde test edilmiş olan gelişmiş modellerde bile 154 yeni halüsinasyon vakasına yol açan çakışmalara neden oldu.

Değerlendirme standardizasyonu için geliştiriciler, Hallucinated-Tools Benchmark (HTB) adlı bir veri setini sundular. Bu veri seti, ajanların çağrıları gerçek araç kayıtlarıyla eşleştirebilme yeteneğini test etmesini sağlar. Benzer doğrulama sistemlerinin uygulanması, standart güvenlik ve sorgu filtreleme mekanizmalarını atlayan geçersiz komutların önlenmesi için gereklidır.