Araştırmacılar Data Science'ta AI ajanlarını değerlendirmek için bir çerçeve sundu

Araştırmacılar, Data Science görevlerinde dinamik verilerle çalışan AI ajanlarını değerlendirmek için bir çerçeve sundu. Mevcut yöntemlerin temel sorunu, gerçek sistemlerdeki veriler sürekli olarak güncellendiği için statik referans cevaplarının kullanılamamasıdır.

Yeni yaklaşım, ground-truth-as-code olarak adlandırılır ve test anında referans cevaplarını üretmek için çalıştırılabilir fonksiyonlar kullanır. Bu, sistemlerin sonuçları güncel veriler temelinde otomatik olarak yeniden hesaplamasına olanak tanır. Çerçeve, ajanın cevabını ve referans cevabını atomik ifadelerine ayırarak, cevabın metin, tablo veya HTML kodu olarak sunulup sunulmadığına bakılmaksızın, doğruluk, eksiksizlik ve toplam hız gibi ölçümleri bağımsız olarak hesaplayan format-agnostik bir değerlendirme modülünü içerir.

Yöntemin makine öğrenimi üretim görevlerinde geçerliğini test ederken araştırmacılar, doğal dil kullanarak doğrulama yapan temel yöntemlere kıyasla Matthews Korelasyon Katsayısı (MCC) değerinde %29'luk bir iyileşme kaydetti. Ayrıca, yeni yaklaşım her bir test senaryosunda token tüketiminde %16'lık bir azalma sağladı, bu da değerlendirme sürecini daha ekonomik hale getirdi.

Yöntemoloji CC BY 4.0 lisansı ile dağıtılır ve çıktıları hesaplanabilir fonksiyonlar aracılığıyla ifade edilebilen ajanlar için tasarlanmıştır. Bu yaklaşımın uygulanması, geleneksel statik benchmark'lerin uzman değerlendirmesiyle düşük korelasyon gösterdiği, birden fazla kaynaktan veri entegrasyonu gerçekleştiren sistemlerin doğrulanmasını otomatikleştirmeye olanak tanır.