研究人員學會透過LLM的隱藏狀態來辨識惡意的提示

研究人員提出了一種在LLM中檢測有害內容的方法，該方法基於分析神經網絡的內部激活，而不是使用外部過濾器。這種新方法可以在數據處理過程中直接檢測到惡意請求，從而消除了對額外計算資源的需求，以支持外部模型防禦。

作為實驗的基礎，選擇了LLaMA-3.1-8B模型。作者訓練了基於MLP的緊湊分類器，僅包含12.6萬個參數。這些探測器分析模型的隱藏狀態，允許立即將傳入的請求分類為安全或惡意，無需傳統安全系統的延遲。

該方法的有效性已在WildJailbreak、Beavertails和AEGIS 2.0數據集上得到證實。結果顯示，分別達到F1-指標99%、83%和84%。這些指標與專用防禦模型的質量相當，後者在大小上超過了所提出的解決方案1000倍。

使用模型的內部狀態徹底降低了延遲和資源消耗，這對於自主系統和計算能力有限的設備至關重要。這種方法允許直接將安全機制集成到LLM架構中，提供實時保護而不影響性能。