Yapay zeka ajanları için SWE-Bench Pro V2 kıyaslama testinin güncellenmiş sürümü yayınlandı

Eylül 2026'da, yapay zeka ajanlarının gerçek dünya programlama alanındaki yeteneklerini değerlendirmek için tasarlanan SWE-Bench Pro V2 kıyaslama testinin güncellenmiş sürümü yayınlandı. Veri setinin yeni sürümünde elde edilen en iyi sonuç, başarıyla çözülen görevlerde %99,4 oranına ulaştı.

Platform, modelleri GitHub depolarındaki mevcut mühendislik projeleri koşullarında test etmek için oluşturulmuştur. Ajan; kod tabanına, bağımlılıklara ve sorun açıklamasına erişim sağlar, ardından projeyi bağımsız olarak analiz etmeli, değişiklikleri yapmalı ve kodun geri kalanının işlevselliğini bozmadan çalışan bir yama oluşturmalıdır.

Güncelleme hazırlığı sürecinde araştırmacılar, test ortamında manuel iyileştirmeler yapma ihtiyacıyla karşılaştılar. Sonuçların güvenilirliğini sağlamak için sınav görevlerinin bir kısmının düzeltilmesi, internetten cevap sızıntısı durumlarının ortadan kaldırılması ve otomatik testlerin işleyişinin ayarlanması gerekti.

Daha hassas metriklerin ortaya çıkması, geliştiricilerin karmaşık yazılım geliştirme görevlerini çözmede ve kodu mevcut çalışma ortamlarına entegre etmede yapay zeka sistemlerinin özerkliğini daha güvenilir bir şekilde değerlendirmelerine olanak tanıyor.