研究人員發現LLM的語言不易讀取漏洞

一組研究人員發表了一項名為The Implications of Linguistic Illegibility for LLM Security的研究，證明了語言模型的自我報告機制在安全性問題上不可靠。作者們發現，目前的安全系統依賴於模型的文本輸出進行解釋，但由於LLM無法準確評估自己的內部狀態，因此這些系統容易被繞過。

在分析中，研究人員發現了語言不透明度(linguistic illegibility)使得模型的自我控制嘗試對於針對性的攻擊無效。研究人員展示了，即使有安全指令，模型也無法保證其輸出的安全性，因為其語言標誌與內存中的實際操作不相關。

為了解決這個問題，研究人員提出了從文本過濾轉向taint tracking(數據流追蹤)和嚴格的進程隔離方法。研究強調，使用外部工具在100%的情況下驗證模型的輸出比試圖讓模型自己分類其回答為「安全」或「危險」更可靠。

作者們指出，目前的架構依賴於提示工程來確保安全性，但在面對競爭性示例時會出現臨界失敗。提出的隔離方法可以限制模型生成的代碼的執行範圍，從而降低執行未經授權的指令的風險。

這項研究改變了人工智慧系統設計的方法，從試圖「教導」模型安全性轉向在執行層面實施硬件和軟件限制。這對於將LLM集成到基礎設施項目中至關重要，因為對文本輸出的信任是整個系統的失敗點。