I ricercatori hanno presentato un metodo per l'addestramento di modelli tenendo conto delle preferenze individuali

I ricercatori hanno presentato un nuovo approccio all'addestramento dei modelli basati sul feedback, che tiene conto dell'eterogeneità delle preferenze umane invece di utilizzare una funzione di utilità universale. Lo studio, pubblicato in un articolo su arXiv, propone un'architettura per la valutazione di funzioni di utilità personalizzate, dipendenti dal contesto decisionale.

Nel quadro del lavoro è stato raccolto un set di dati di grandi dimensioni, che include più di 575 000 valutazioni estetiche a coppie. All'esperimento hanno partecipato 2 398 persone, che hanno valutato il design dei cerchioni delle auto. L'utilizzo di modelli personalizzati ha permesso di superare notevolmente le prestazioni dei modelli di utilità universali standard, comprese le soluzioni di base basate su foundation-modelli.

Gli autori hanno dimostrato che le divergenze nelle valutazioni tra gli utenti non sono solo "rumore" nei dati, ma riflettono una significativa eterogeneità delle preferenze. L'architettura proposta a più fasi consente al modello di considerare esplicitamente di chi rappresenta le preferenze, aumentando così l'accuratezza delle previsioni in domini soggettivi.

I risultati dello studio sottolineano la necessità di raccogliere attributi degli annotatori per un addestramento più preciso dei modelli di reward. Questo approccio consente di creare sistemi che riflettono in modo più fedele la diversità della scelta umana, aspetto critico per lo sviluppo di strumenti AI personalizzati nel futuro.

I materiali dello studio sono disponibili sotto licenza Creative Commons BY-NC-ND 4.0. Questo lavoro cambia l'approccio all'elaborazione dei dati RLHF, spostando il focus dai valori medi alle modellazione dei profili utente individuali.