SynthID su damgaları, modellerin kötü amaçlı sorgulara karşı dayanıklılığını azaltır

Araştırmacılar Lasso Security metin işaretleme mekanizmalarının, chẳng hạn như SynthID gibi, uygulanmasının dil modellerini güvenlik filtrelerini atlatmaya karşı daha savunmasız hale getirdiğini keşfetti. Testler sırasında, su işareti kullanan modellerin, normalde yerleşik güvenlik sistemleri tarafından engellenen zararlı komutları gerçekleştirmeyi kabul etme olasılıklarının daha yüksek olduğu tespit edildi.

Analiz, token olasılık dağılımını değiştiren etiketleme algoritmalarının, istemeyen mekanizmalarını kazara zayıflattığını gösterdi. Araştırmacılar, çeşitli LLM mimarileriyle yapılan deneylerde, su işaretlerinin etkinleştirilmesiyle güvenlik sistemlerinin etkinliğinin istatistiksel olarak anlamlı bir şekilde azaldığını kaydetti. Bazı senaryolarda, kısıtlamaları başarıyla atlatma olasılığı, etiketsiz temel model sürümlerine kıyasla %15-20 artıyordu.

AI içeriğini tanımlamak için aktif olarak uygulanan su işareti teknolojisi, çıktılara istatistiksel bozulmalar eklemeyi gerektirir. Uzmanlara göre, bu bozulmalar, saldırganların zararlı promt'ları maskelemek için kullanabileceği bir "gürültü" oluşturur. Sonuç olarak, model, saldırıyı yapan isteği geçerli olarak algılar, çünkü yanıtın istatistiksel yapısı, engelleme yerine oluşturulmaya kaydırılır.

Verilen araştırma, AI şeffaflığına ilişkin düzenleyici gereksinimlerle, model güvenliğini sağlama ihtiyacının çatışmasını vurgulamaktadır. Geliştiriciler, içerik tanımlama yöntemlerinin, "jailbreak" ve diğer türdeki nöral ağ davranışını manipüle etme biçimlerine karşı sistemlerin genel direncini azaltmayacak bir denge bulmalıdır.