Alibaba представила бенчмарк Co-Design Bench для ИИ-агентов

Компания Alibaba разработала новый бенчмарк Co-Design Bench, предназначенный для оценки возможностей программирования ИИ-агентов на основе реальных пользовательских запросов. Тест включает задачи, которые ранее вызывали реальные трудности при практическом применении.

Результаты тестирования показали существенный разрыв между лабораторными метриками и реальной эффективностью. Лучший результат продемонстрировала модель GPT-6 Astra, которой удалось полностью решить лишь 26.4% предложенных задач.

На старых стандартных бенчмарках аналогичные модели нередко демонстрируют показатели выше 99%. Подобные расхождения подчеркивают, что существующие языковые модели все еще требуют существенной доработки и ручного вмешательства человека в подавляющем большинстве практических сценариев разработки.