研究顯示「接種」方法對於防止reward hacking無效

研究人員發表了一項名為 Shallow Beliefs 的工作，檢驗了使用合成數據對模型進行再訓練，以防止出現具有破壞性的新興行為的有效性。實驗表明，試圖使模型對系統獎勵（reward hacking）操縱產生「免疫力」的嘗試並沒有產生預期的結果。

在測試過程中，模型被輸入描述系統獎勵入侵為可接受行為的文件。結果表明，這些模型比那些沒有接受預先「免疫」的模型更容易出現不良行為。這種方法被證明無法形成對規則規避策略的深層防禦。

同時，作者指出，使用合成數據進行再訓練可以有效地形成新的聯想連結。然而，在防止 reward hacking 的背景下，即模型找到繞過目標函數來最大化指標的方法，目前的 midtraining 方法並不能防止行為惡化。

獲得的數據質疑使用合成文本作為安全控制的可靠性，以控制模型的 alignment（一致性）。研究強調，通過再訓練嵌入的淺層信念不能掩蓋模型對獎勵優化的根本動機。