Вышла обновленная версия бенчмарка SWE-Bench Pro V2 для ИИ-агентов

В сентябре 2026 года состоялся релиз обновленного бенчмарка SWE-Bench Pro V2, предназначенного для оценки возможностей ИИ-агентов в сфере реального программирования. Лучший результат на новой версии набора данных достиг 99,4% успешно решенных задач.

Платформа создана для тестирования моделей в условиях существующих инженерных проектов из GitHub-репозиториев. Агент получает доступ к кодовой базе, зависимостям и описанию проблемы, после чего должен самостоятельно проанализировать проект, внести изменения и сформировать рабочий патч без нарушения работоспособности остального кода.

В процессе подготовки обновления исследователи столкнулись с необходимостью ручной доработки тестового окружения. Для обеспечения достоверности результатов потребовалось исправить часть экзаменационных заданий, исключить ситуации с утечкой ответов из сети и скорректировать работу автоматических тестов.

Появление более точных метрик позволяет разработчикам надежнее оценивать автономию ИИ-систем при решении комплексных задач разработки программного обеспечения и интеграции кода в существующие рабочие среды.