Surge AI представила бенчмарк DAYJOB для оценки налоговых ИИ-агентов

Компания Surge AI выпустила специализированный бенчмарк DAYJOB: Tax, предназначенный для тестирования возможностей ИИ-агентов в решении профессиональных задач по налогообложению. Набор данных включает 50 сложных кейсов, охватывающих восемь различных областей налогового права и отчетности.

В ходе первичного тестирования моделей на данных заданиях был зафиксирован низкий уровень успешности выполнения задач. Лидером среди протестированных систем стала модель Claude Sonnet 5.5, которая продемонстрировала 10.8% правильных ответов. Остальные модели показали еще более низкие результаты, что подчеркивает сложность автоматизации узкоспециализированных финансовых и юридических процессов.

Бенчмарк ориентирован на проверку способности агентов работать с реальными профессиональными требованиями, где цена ошибки критически высока. Методология оценки включает проверку точности расчетов, интерпретации налогового законодательства и соблюдения формальных требований к документации.

Для разработчиков ИИ-систем данный инструмент станет индикатором того, насколько текущие модели готовы к автономной работе в сфере налогового консалтинга. Результаты тестирования показывают значительный разрыв между общими способностями LLM и требованиями к точности, необходимыми для полноценной замены специалиста в данной области.