MaxxBench выявил падение производительности языковых моделей

Исследователи представили новый инструмент MaxxBench для проверки способности языковых моделей адаптироваться к новым требованиям, а не просто запоминать тесты. Бенчмарк модифицирует стандартные задачи из набора DeepSWE для оценки реальных навыков программирования и решения проблем.

В ходе тестирования выяснилось, что модификация условий приводит к серьезному снижению результатов у популярных систем. Например, показатель модели Gemini 3.8 Flash падает до 53.4% на новых заданиях по сравнению с 73.8% на оригинальном бенчмарке DeepSWE.

Всего для проверки было изменено 89 задач, чтобы исключить механическое воспроизведение заученных ответов. Подобный подход позволяет точнее определять способность систем справляться с модифицированными условиями в реальной разработке.