Araştırmacılar LLM'de dil anlaşılmazlığı zafiyeti tespit etti

Araştırmacılar grubu The Implications of Linguistic Illegibility for LLM Security adlı bir çalışma yayınladı, bu çalışmada dil modellerinin güvenlik konularındaki öz-raporlama mekanizmalarının güvensizliği kanıtlandı. Yazarlar, mevcut güvenlik sistemlerinin, modelin metin çıktılarının yorumlanmasına dayanması nedeniyle, LLM'nin kendi iç durumlarını doğru bir şekilde değerlendirememesi nedeniyle atlanmaya eğilimli olduğunu belirlediler.

Analiz sırasında linguistik okunaksızlık (linguistic illegibility) modelin "kendini kontrol" girişimlerini amaçlı saldırılar karşısında etkisiz hale getirdi. Araştırmacılar, güvenlik talimatları olsa bile, modelin zararlı kod veya gizli komutların absence garanti edemediğini gösterdi, çünkü dil işaretleri gerçekte bellekteki operasyonlarla ilişkili değildi.

Sorunu çözmek için metin filtrelemesinden taint tracking (veri akışının izlenmesi) ve katı işlem izolasyonu yöntemlerine geçiş önerildi. Çalışmada, çıktı doğrulama araçlarını %100 durumda kullanmanın, modelin kendi cevaplarını "güvenli" veya "tehlikeli" olarak sınıflandırma girişimlerinden daha güvenilir olduğu vurgulandı.

Yazarlar, güvenlik için prompt mühendisliğine güvenen mevcut mimarilerin, rekabetçi örneklerle karşılaştıklarında kritik bir başarısızlık eşiğine sahip olduğunu belirttiler. Önerilen izolasyon yöntemleri, model tarafından üretilen kodun yürütme alanını sınırlar, bu da sistem ortamında yetkisiz talimatların yürütülme riskini azaltır.

Verilen araştırma, AI sistemlerinin tasarımına yaklaşımı değiştirir, güvenlik için modeli "eğitmeye" çalışmaktan, yürütme düzeyinde donanım ve yazılım kısıtlamaları uygulamaya kayar. Bu, LLM'lerin altyapı projelerine entegrasyonu için kritiktir, burada metin çıktısına güven, tüm sistemin başarısızlık noktasıdır.