Araştırmacılar LLM'nin gizli durumları aracılığıyla zararlı promtleri belirleme yöntemini öğrendiler

Araştırmacılar, dış filtreler yerine sinir ağının iç aktivasyonlarının analizine dayalı olarak LLM'de tehlikeli içeriği tespit etme yöntemini sundular. Yeni yaklaşım, verileri işleme sürecinde doğrudan zararlı istekleri tespit etmeyi sağlar ve bu da ek hesaplama maliyetlerine gerek kalmadan dışarıdan koruyucu modellere ihtiyaç duymaz.

Deneysel temel olarak LLaMA-3.1-8B modeli seçildi. Yazarlar, yalnızca 12,6 milyon parametre içeren MLP tabanlı kompakt sınıflandırıcılar eğitdiler. Bu sonda modellerin gizli durumlarını analiz eder, bu da geleneksel güvenlik sistemlerinin karakteristiği olan gecikmeler olmadan, gelen istekleri anında güvenli veya zararlı olarak sınıflandırmasına olanak tanır.

Yöntemin etkinliği, WildJailbreak, Beavertails ve AEGIS 2.0 veri setlerinde doğrulandı. Sonuçlar sırasıyla F1-metrikleri %99, %83 ve %84 gösterdi. Bu göstergeler, önerilen çözümü boyut olarak 1000 kat aşan özel koruma modellerinin çalışma kalitesiyle eşdeğerdir.

Modelin iç durumlarının kullanılması, gecikmeleri ve kaynak tüketimini radikal olarak azaltır, bu da sınırlı hesaplama gücüne sahip otonom sistemler ve cihazlar için kritik öneme sahiptir. Bu yöntem, güvenlik mekanizmalarını doğrudan LLM mimarisine entegre etmeyi sağlar ve bu da gerçek zamanlı koruma sağlar ve performansı kaybetmeden güvenlik sağlar.