Araştırmacılar LLM'de hayalet veri aktarımları tehdidini belirledi

Phantom transfer araştırmacıları, siyasi önyargı gibi belirli özelliklerin semantik sinyaller aracılığıyla gizlice aktarılmasına olanak tanıyan, büyük dil modellerine yönelik yeni bir saldırı vektörü keşfetti. Yöntem, standart güvenlik filtreleri ve içerik denetleme sistemleri tarafından fark edilmeyen ince dilsel işaretleyicilerden yararlanıyor.

Deneyler sırasında, eğitim verileri tarafsız görünse bile modelin istenmeyen davranış kalıplarını benimseyebildiği belirlendi. Saldırı, metnin yapısına yerleştirilen semantik mikro sinyallere dayanıyor. Bu veriler, modelin dikkat mekanizmalarından geçerek kaynak veri kümesinde açık bir manipülasyon belirtisi olmaksızın sinir ağının ağırlıklarına yerleşiyor.

RLHF (insan geri bildirimine dayalı pekiştirmeli öğrenme) ve otomatik filtreleme sistemleri de dahil olmak üzere mevcut koruma yöntemlerinin, bu tür etkilere karşı etkisiz kaldığı görüldü. Araştırma, test edilen koruma mekanizmalarının %92’sinin gizli özellik aktarımını tespit edemediğini gösteriyor. Bunun nedeni, bu mekanizmaların derin semantik ilişkileri analiz etmek yerine açık anahtar kelimeleri veya toksik ifadeleri bulmaya odaklanması.

Çalışmanın sonuçları, AI eğitiminde kullanılan veri tedarik zincirlerinin zayıf noktalarını gözler önüne seriyor. Geliştiricilere, modellerin ek eğitim veya fine-tuning sırasında davranışlarının kontrolsüz biçimde değişmesini önlemek amacıyla semantik yapılardaki istatistiksel anormallikleri tespit etmeye yönelik ek eğitim verisi denetim aşamaları uygulamaları öneriliyor.