Araştırmacılar LoRA adaptörlerini tersine mühendislik yöntemiyle analiz etmenin bir yolunu geliştirdi

Bir grup araştırmacı, LoRA adaptörlerinin iç yapısını ve sinir ağlarının davranışları üzerindeki etki mekanizmalarını incelemeye olanak tanıyan LoRA adaptör analizi için bir çerçeve sundu. Çalışma sırasında yazarlar, düşük dereceli adaptasyonların model çıktılarını tam olarak nasıl değiştirdiğini anlamak için tersine mühendislik yöntemlerini uyguladılar.

Analiz, LoRA'nın, bilgileri doğrudan transformer mimarisinin residual stream (artık akış) kısmına yazan nöronlar arasında özel bağlantılar oluşturarak çalıştığını gösterdi. Bu süreç, adaptörün temel ağın ana ağırlıklarına dokunmadan modelin aktivasyonlarını etkili bir şekilde yakalamasına ve değiştirmesine olanak tanır.

Yöntemin etkinliğinin pratik bir kanıtı, Weird Generalization LoRA tekniği kullanılarak modelde bir arka kapı (backdoor) uygulamasının başarılı olmasıydı. Araştırmacılar, adaptör ağırlıklarının manipülasyonu yoluyla, standart kontroller tarafından fark edilmeden belirli giriş verilerinde önceden tanımlanmış davranışları tetikleyen gizli tetikleyicilerin yerleştirilebileceğini gösterdiler.

Elde edilen sonuçlar, güvenlik uzmanlarına üçüncü taraf adaptörleri denetlemek için yeni bir araç sunuyor. Geliştiriciler artık indirilen ağırlıkların, LoRA yapısı içinde gizlenmiş kötü amaçlı talimatlar içerip içermediğini kontrol edebilirler; bu da açık ortamlarda ince ayar yapılmış modelleri kullanan sistemlerin korunması için kritik öneme sahiptir.