研究人員提出z-scoring方法來糾正LLM中的token頻率

研究人員 發現，語言模型中的 J-lens 偏移與訓練數據集中 token 的頻率直接相關。應用 z-scoring 方法可以有效地消除這種影響，提高生成答案的準確性。

在實驗中，該方法在 Gemma-2-9B-it 模型上進行了測試，取得了顯著的預測質量改善。此外，使用 z-scoring 還可以為緊湊模型 Qwen3-1.7B 獲得非零的讀取指標（readouts），而之前該模型在標準分析方法下表現有限。

從技術上講，該過程涉及基於 token 頻率統計分布的對數正規化。這使得模型可以「看到」之前因為統計偏差而被抑制的隱藏詞彙。該方法不需要重新訓練權重，可以在推理階段應用。

這種方法解決了模型偏向高頻率 token 的問題，這對於小型架構尤其相關。糾正允許更有效地從隱藏層中提取信息，擴大了神經網絡的解釋能力，而無需改變其基礎結構。