研究人員提出了一種考慮個體偏好的模型訓練方法

科學家提出了一種新的基於反饋的模型訓練方法，考慮到人類偏好的異質性，而不是使用通用的效用函數。發表在 arXiv上的論文 中，提出了一種基於上下文決策的個性化效用函數評估架構。

在研究中，收集了一個大規模的數據集，包含超過 575 000 對的美學評估。該實驗中有 2 398 人參與，評估了汽車輪圈的設計。使用個性化模型使得標準的通用效用模型（包括基於 foundation模型 的基本解決方案）得以大幅度超越。

作者證明，使用者之間的評估差異不是數據中的「噪音」，而是人類偏好異質性的反映。提出的多階段架構允許模型明確考慮它所代表的偏好，從而提高了在主觀領域中的預測準確度。

研究結果強調了收集注釋者屬性的必要性，以便更準確地訓練獎勵模型。這種方法可以創建更好地反映人類選擇多樣性的系統，這對於未來開發個性化 AI 工具至關重要。

研究材料在 Creative Commons BY-NC-ND 4.0 許可下提供。這項工作改變了對 RLHF 數據的處理方法，從平均值轉向模擬個性化用戶配置文件。