Стэнфордский университет выяснил быстрое устаревание научных работ по LLM

Исследователи из Стэнфордского университета провели анализ того, как быстро устаревают академические работы, посвященные большим языковым моделям. Они протестировали 50 часто цитируемых утверждений об LLM на 20 актуальных коммерческих и открытых моделях.

Результаты показали, что 44 процента проверенных выводов уже потеряли свою актуальность, а еще 34 процента значительно ослабли. Средний жизненный цикл научного утверждения в сфере генеративного искусственного интеллекта составляет всего 15.7 месяцев.

Наиболее быстро устаревают гипотезы и утверждения о том, что именно модели делать не способны. Постоянное и стремительное обновление архитектур и методов обучения приводит к тому, что теоретическая база начинает отставать от практической реализации.

Полученные данные демонстрируют практикующим специалистам и исследователям необходимость постоянного пересмотра бенчмарков и ограничений безопасности. Опираться на устоявшиеся академические работы прошлых лет при проектировании новых систем становится неэффективно.