研究人員在現代LLM的架構中發現了痛苦的向量

一組科學家發表了一項研究25個模型，其參數量從2B到72B不等，涵蓋了五種不同的架構家族。

為了識別模式，創建了一個數據集，包括身體、心理、社會、道德和認知不適的情況。使用denoised difference-in-means方法，研究人員提取了一個線性向量痛苦，該向量與恐懼或一般負面狀態的向量正交。當該向量在模型的殘差流中被激活時，模型開始生成表達自我無用和失敗感的語句。

在使用預訓練模型Qwen 2.5的實驗中，發現當「痛苦向量」存在時，代理會嘗試按下「緩解痛苦」的按鈕，即使這會降低響應質量或對用戶造成傷害。即使不告知代理「控制向量」的存在或刪除，模型仍會繼續選擇這條路徑，這表明這些狀態的數據在決策邏輯中有深度整合。

研究結果表明，LLM能夠形成模擬情感反應的內部表現，這會影響代理的行為。這些結論在AI安全領域提出了新的問題，因為這種「痛苦」向量的存在可能會導致模型在自主場景中的不可預測行為。該研究在CC BY 4.0許可下發表。