研究人員證實SFT對LLM的多樣性回應有影響

研究人員發表了工作 Fine-Tuning Fixes Mode Collapse and Over-Dispersion in LLMs，分析了大型語言模型中回答多樣性丟失的原因。作者們確定，模型傾向於「模式崩潰」（mode collapse）或過度分散直接取決於微調數據的質量和數量。

在實驗過程中，科學家們使用了 三種類型的模型：小型轉換器在合成語言中，四個在調查結果上微調的 LLM，以及在 CodeNet 數據集上調整的相同模型。為了評估結果，應用了相同提示下回答匹配概率的指標。結果表明，當 SFT（監督微調）數據量足夠時，模型的回答多樣性趨近於目標分佈的指標。

理論分析表明，絕對的多樣性差距受到 庫爾巴克-萊布勒發散性（KL divergence）之間模型和目標分佈的平方根的限制。这意味著根據交叉熵最優狀態的模型不能展示任意扭曲的回答多樣性。

作者的數學模型證明，SFT 沒有內置的偏差傾向於單調或混亂。生成錯誤是由於訓練時樣本的有限性。增加目標數據的數量可以有效地校正模型的校準，將其行為趨近於人類或指定的標準答案。

研究結果提供了一種新的模型診斷工具。現在，開發人員可以使用提出的公式來評估當前的微調過程對多樣性退化的貢獻，並確定達到穩定結果所需的數據量。