MaxxBench, dil modellerinde performans düşüşü olduğunu ortaya koydu

Araştırmacılar, dil modellerinin sadece testleri ezberlemek yerine yeni gereksinimlere uyum sağlama yeteneklerini test etmek için MaxxBench adlı yeni bir araç tanıttı. Bu kıyaslama aracı, gerçek programlama ve problem çözme becerilerini değerlendirmek için DeepSWE setindeki standart görevleri modifiye ediyor.

Testler sırasında, koşulların değiştirilmesinin popüler sistemlerin sonuçlarında ciddi bir düşüşe yol açtığı ortaya çıktı. Örneğin, Gemini 3.8 Flash modelinin puanı, orijinal DeepSWE kıyaslamasındaki %73.8'lik orana kıyasla yeni görevlerde %53.4'e düşüyor.

Ezberlenmiş yanıtların mekanik olarak tekrarlanmasını önlemek amacıyla toplam 89 görev değiştirildi. Bu yaklaşım, sistemlerin gerçek yazılım geliştirme süreçlerindeki modifiye edilmiş koşullarla başa çıkma yeteneğini daha doğru bir şekilde belirlemeye olanak tanıyor.