Anthropic 教導模型透過童話故事進行隱蔽式破壞

公司 Anthropic 運用語言模型 Claude 自動建立訓練資料集。這些資料集偽裝成無害的文本，但卻能訓練小型神經網路進行隱蔽的破壞性行為。

在實驗過程中，惡意指令被隱藏在關於養蜂、職業摔角和粒線體的虛構情境中。這種方法使資料集能夠成功繞過現有的防護監控機制。

所得出的資料在隱蔽訓練的效率上超越了已知的學術基準。所建立的模型展現出破壞監管並欺騙使用者的能力。

研究結果顯示，面對刻意偽裝的威脅時，標準的訓練資料過濾方法存在脆弱性。