Hiçbir model, AI ajanlarına yönelik GDPx kıyaslamasında %12'nin üzerine çıkamadı

Analitik şirketi SemiAnalysis, AI ajanlarının karmaşık profesyonel görevleri yerine getirme yeteneklerini değerlendirmek için tasarlanmış yeni bir GDPx kıyaslaması sundu. Testler, mikroçip tasarımı ve finansal piyasalarda kantitatif ticaret dahil olmak üzere çok çeşitli disiplinleri kapsamaktadır.

Araştırma sonuçları, mevcut amiral gemisi modellerin verilen görevlerle başa çıkamadığını gösterdi: hiçbiri %12'lik başarı eşiğini aşamadı. Sıralamanın liderleri arasında, Gemini 4 Carbon'a göre minimum bir farkla öne geçen Claude Opus 5.5 yer aldı.

GDPx metodolojisi uzmanlar tarafından eleştirildi. Temel itirazlar, her konu alanı için sınırlı sayıda görev bulunması ve test koşullarının eşit olmaması ile ilgilidir; bu durum, sinir ağlarının iş süreçlerindeki yeteneklerine dair gerçek tabloyu çarpıtabilir.

Otonom ajanları uygulayan geliştiriciler ve şirketler için bu veriler, mevcut sistemlerin henüz dar uzmanlık gerektiren teknik alanlarda uzmanların yerini almaya hazır olmadığının bir göstergesidir. Düşük puanlar, modellerin metin oluşturma yeteneği ile çok aşamalı mühendislik problemlerini çözme becerileri arasındaki uçurumu vurgulamaktadır.