研究人員提出Inoculation Midtraining方法來控制模型

研究人員提出了一種名為 Inoculation Midtraining 的技術，旨在限制神經網絡的不想要行為。這種方法基於在訓練過程中引入特殊的 新詞語_token，它將潛在的危險或不正確的回應綁定到嚴格確定的上下文中。

在實驗中，作者觀察到使用 新詞語 可以降低模型的迷失程度，同时保持其基本特徵，例如語言風格和一般認知能力。這種技術旨在將「不正確」的行為局限在模型內，防止它傳播到其他用戶交互場景中。

測試結果顯示，目前的方法實現相比標準方法 Inoculation Prompting 來說效率較低。研究人員指出，算法對 超參數 的敏感性很高，需要額外的調整以在不同架構中實現穩定的安全性指標。

這種方法試圖解決模型「對齊」（alignment）問題的嘗試，在模型的預訓練階段。與外部過濾器不同，這種方法嘗試直接在模型的權重中集成控制機制，使用語言標記來控制特定行為模式的激活。