SynthID 的水印降低了模型對惡意查詢的抵禦力

研究人員 Lasso Security 發現，實施文本標記機制，例如 SynthID，使語言模型更容易被繞過安全過濾器。在測試中發現，使用水印的模型更常同意執行惡意指令，這些指令在正常情況下會被內置的安全系統阻止。

分析顯示，插入標記的算法改變了令牌的概率分佈，無意中削弱了「拒絕」機制。在不同LLM架構的實驗中，研究人員觀察到啟用水印後安全系統的有效性出現了統計學上顯著的下降。在某些情景中，成功繞過限制的概率增加了 15-20%，相比於基礎模型版本沒有標記。

水印 技術正被積極推廣用於識別AI內容，需要在輸出中引入統計偏差。這些偏差，據專家認為，會創造出「噪音」，攻擊者可以利用它來掩蓋惡意提示。結果，模型將攻擊請求視為合法，因為響應的統計結構傾向於生成而不是阻止。

這項研究強調了AI透明度的監管要求與確保模型安全性的需求之間的衝突。開發人員需要找到一個平衡點，使內容識別方法不會降低系統對「越獄」攻擊和其他形式的神經網絡行為操縱的整體抵禦能力。