Araştırmacılar LLM'yi değerlendirmek için benchmark'lerin evrimini analiz etti

Bir grup bilim insanı, büyük dil modellerinin test edilmesine yönelik yaklaşımların dönüşümüne adanmış kapsamlı bir araştırma yayınladı. Yazarlar, Ocak 2022'den Ağustos 2026'ya kadar arXiv platformunda yayımlanan 14 767 bilimsel çalışmayı analiz etti ve AI performansının değerlendirilmesine ilişkin gereksinimlerin nasıl değiştiğini belirlemek için araştırmayı incelediler.

Analiz, etkin etkileşim ve profesyonel işlevlerin gerçekleştirilmesiyle ilgili görevlere doğru istikrarlı bir kayma gösterdi. Araştırmacılar, LLM'lerin sonuçların otomatik değerlendirilmesi için araçlar olarak kullanılmasıın hem ajanlı hem de ajanlı olmayan sistemler için standart haline geldiğini belirtiyorlar. Bununla birlikte, test materyallerinin kendilerini oluşturmak için modellerin kullanılması, son araştırma kohortlarında benzeri bir istikrarlı büyüme göstermez.

Çalışmada, hedef alanlardaki, test koşullarındaki ve puanlama mekanizmasındaki değişiklikler sistematize edildi. Yazarlar, modern benchmark'lerin modellere basitçe soru cevaplatma yerine karmaşık ardışık eylemler gerçekleştirmelerini gerektiren öğeleri içerme olasılıklarının daha yüksek olduğunu vurguluyorlar. Bu, endüstrinin statik bilgilerin değerlendirilmesinden gerçek çalışma ortamlarında modellerin işlev görme yeteneğinin test edilmesine geçişini yansıtıyor.

Araştırma sonuçları, mevcut değerlendirme yöntemlerinin nesnelliğini sorguluyor. Bilim insanları, testlerin oluşturulmasında ve test edilmesinde sinir ağlarının aktif katılımı, benchmark'lerin kendi geliştirilmesinde yer alan modellerin tercih ve kör noktalarını yeniden üretmeye başladığı "zayıflama"ya yol açabileceği konusunda uyarıyor. Çalışma, arXiv lisansı ile dağıtılıyor ve AI sistemlerinin standardizasyonunu yeniden gözden geçirmek için bir temel sağlıyor.