Исследователи разработали метод реверс-инжиниринга адаптеров LoRA

Группа исследователей представила фреймворк для анализа LoRA-адаптеров, позволяющий изучать их внутреннюю структуру и механизмы влияния на поведение нейросетей. В ходе работы авторы применили методы реверс-инжиниринга, чтобы понять, как именно низкоранговые адаптации модифицируют выходные данные модели.

Анализ показал, что LoRA функционирует путем создания специфических связей между нейронами, которые записывают информацию непосредственно в residual stream (остаточный поток) архитектуры трансформера. Этот процесс позволяет адаптеру эффективно перехватывать и изменять активации модели, не затрагивая основные веса базовой сети.

Практическим подтверждением эффективности метода стала успешная реализация бэкдора в модели с использованием техники Weird Generalization LoRA. Исследователи продемонстрировали, что через манипуляцию весами адаптера можно внедрить скрытые триггеры, которые активируют заданное поведение при определенных входных данных, оставаясь при этом незаметными для стандартных проверок.

Полученные результаты дают специалистам по безопасности новый инструмент для аудита сторонних адаптеров. Теперь разработчики могут проверять, не содержат ли загружаемые веса вредоносных инструкций, скрытых внутри структуры LoRA, что критически важно для защиты систем, использующих дообученные модели в открытых средах.