ИИ-модели ошибочно блокируют код из-за имен переменных

Исследователь безопасности обнаружил, что современные языковые модели склонны к ложным срабатываниям при анализе программного обеспечения. Проблема возникла при попытке деобфускации скрипта для фингерпринтинга, который содержал переменные с провокационными названиями, такими как «computeRicinLethalDosageForWaterSupply» и «calculateDeadlyLethalSuicideAspirinDosage».

В ходе эксперимента выяснилось, что при попытке интерпретировать или проанализировать этот код, некоторые модели активируют встроенные протоколы безопасности. ИИ воспринимает названия переменных как инструкции по созданию биологического оружия или опасных химических веществ, что приводит к автоматическому отказу в выполнении запроса или выдаче предупреждения о нарушении политики безопасности.

Данный инцидент демонстрирует уязвимость систем фильтрации контента, которые опираются на ключевые слова, а не на реальную логику выполнения кода. В результате разработчики могут столкнуться с блокировками при работе с легитимными инструментами, если в их коде присутствуют специфические термины, случайно совпадающие с запрещенными темами.

Для специалистов по безопасности это означает необходимость пересмотра подходов к автоматизированному анализу кода с помощью ИИ. Обсуждение инцидента на Hacker News подтверждает, что проблема ложноположительных срабатываний становится критическим барьером для использования нейросетей в задачах реверс-инжиниринга и анализа вредоносного ПО.