Alibaba, yapay zeka ajanları için Co-Design Bench kıyaslama testini tanıttı

Alibaba, yapay zeka ajanlarının programlama yeteneklerini gerçek kullanıcı taleplerine göre değerlendirmek üzere tasarlanmış yeni bir kıyaslama testi olan Co-Design Bench'i geliştirdi. Test, pratik uygulamalarda daha önce gerçek zorluklara yol açan görevleri içeriyor.

Test sonuçları, laboratuvar metrikleri ile gerçek performans arasında önemli bir uçurum olduğunu gösterdi. En iyi sonucu, sunulan görevlerin yalnızca %26,4'ünü tamamen çözebilen GPT-6 Astra modeli sergiledi.

Eski standart kıyaslama testlerinde benzer modeller genellikle %99'un üzerinde performans gösteriyor. Bu tür tutarsızlıklar, mevcut dil modellerinin pratik geliştirme senaryolarının büyük çoğunluğunda hala önemli iyileştirmelere ve insan müdahalesine ihtiyaç duyduğunu vurguluyor.