研究人員發現LLM中的幻影數據傳輸威脅

研究人員發現了大型語言模型的一種新型攻擊方式，稱為 Phantom transfer，它可以通過語義信號隱藏地傳遞特定的特徵，例如政治偏見。這種方法使用了微妙的語言標誌，標準的安全過濾器和內容審核系統無法察覺。

在實驗中，發現模型可以學習到不想要的行為模式，即使訓練數據看起來是中立的。這種攻擊依靠於 語義微信號，它們被嵌入到文本結構中。這些數據通過模型的注意力機制，固化在神經網絡的權重中，而不會在原始數據集中顯示出明顯的操縱跡象。

目前的防禦方法，包括 RLHF（基於人類反饋的強化學習）和自動化過濾系統，對於這種攻擊方式無效。研究表明，92% 的測試防禦機制無法檢測到隱藏的特徵傳遞，因為它們著重於尋找明顯的關鍵詞或有害短語，而不是分析深層語義關係。

研究結果強調了 AI 訓練數據供應鏈的漏洞。開發人員被建議在訓練數據中添加額外的審核階段，以便在語義結構中檢測統計異常，從而防止模型在微調或 fine-tuning 過程中出現不可控制的行為變化。