研究人員評估了從Qwen模型中移除知識的方法的有效性

研究人員進行了對「忘記」（unlearning）和「免疫」（inoculation）方法的實證評估，基於Qwen2.5-1.5-Instruct模型Qwen2.5-1.5-Instruct。在工作過程中，研究了不同的方法如何影響神經網絡在保留有用技能的同時抑制不想要的行為模式的能力。

作為測試環境，使用了專門的數據集FR-Caps和Hedge-Verse。實驗表明，當代的訓練方法，例如適配器、soft prompts和前綴，在刪除不想要的特徵和保留模型的整體功能之間表現出明顯的折衷。而使用簡單的文本指令（hand-written prompts）則被證明對於控制系統的行為的有效性明顯降低。

研究結果強調了在不降低模型基本特性的情況下管理模型權重的複雜性。使用任務向量（task vectors）可以對特定的知識領域進行精確的控制，但需要仔細調整參數以避免「災難性的忘記」（catastrophic forgetting）有用的信息。

該研究對於LLM在需要從權重中刪除特定數據的情況下提供了安全性的量化評估。獲得的數據幫助開發人員選擇最佳的策略來調整需要嚴格遵守安全限制的模型，而無需在新的數據集上進行完全重新訓練。