Allen Institute BenchMVRT kalite benchmartlarının analizini sunuyor

Araştırmacılar Allen Institute for AI tarafından geliştirilen BenchMIRT metodolojisinin, modern büyük dil modellerinin neyi ölçtüğünü değerlendirmek için tasarlandığını sundu. Yazarlar popüler testlerin yapısını analiz etti ve görev formatı ile performans sonuçları arasındaki kritik bağımlılıkları belirledi.

Araştırmalar sırasında uzmanlar 15 popüler bencmark için, MMLU ve GSM8K dahil olmak üzere istatistiksel analiz uyguladı. Model sonuçlarının %40'ının varyasyonunun, mantık yeteneklerine değil, yanıt formatlama özelliklerine ve şablonlara duyarlılığına bağlı olduğu ortaya çıktı. Araç seti, verilerin "kirlenmesini" ve rastgele faktörlerin nihai puana etkisini nicel olarak değerlendirmeye izin veriyor.

BenchMIRT geliştiricileri, metriklere yeni bir yaklaşım kullanmayı öneriyor. Genel puanı değerlendirmek yerine, sistem performansı bilginin çıkarılması, mantıksal çıkarım ve formülasyon değişikliklerine karşı dayanıklılık olarak ayırıyor. Bu, modelin basitçe eğitim verisetinden cevapları ezberlemesi yerine, görevleri çözmeyi öğrendiği durumları belirlemeyi sağlar.

Çalışmanın sonuçları, mevcut değerlendirme yöntemlerinin, mantık görevlerinde modellerin yeteneklerini %15-25 oranında abarttığını gösteriyor. Araştırmacılar, statik soru setlerinden, görev koşullarını gerçek zamanlı olarak değiştiren ve basit bir veritabanı eşleştirmesini önleyen dinamik testlere geçiş ihtiyacını vurguluyor.

Bu yaklaşım, AI sistemlerinin doğrulama standartlarını değiştiriyor ve değerlendirme sürecinin şeffaflığına odaklanıyor. Önerilen metodolojinin kullanılması, geliştiricilerin modellerin gerçek ilerlemesini daha doğru bir şekilde belirlemesine, pazarlama göstergelerinden gerçekteki sistemlerin bilgiyi genelleme ve karmaşık talimatları yürütme yeteneklerini ayırmasına olanak tanıyacaktır.