I ricercatori hanno dimostrato l'influenza di SFT sulla diversità delle risposte di LLM

I ricercatori hanno pubblicato un lavoro Fine-Tuning Fixes Mode Collapse and Over-Dispersion in LLMs, in cui hanno analizzato le cause della perdita di diversità delle risposte nei grandi modelli linguistici. Gli autori hanno stabilito che la tendenza dei modelli al "collasso della modalità" (mode collapse) o alla dispersione eccessiva dipende direttamente dalla qualità e dalla quantità dei dati per il fine-tuning.

Durante l'esperimento, gli scienziati hanno utilizzato tre tipi di modelli: piccoli trasformatori su lingue sintetiche, quattro LLM, fine-tunati sui risultati dei sondaggi, e gli stessi modelli, configurati sul dataset CodeNet. Per valutare i risultati è stata applicata la metrica della probabilità di coincidenza delle risposte a prompt identici. È emerso che con un volume di dati sufficiente per il SFT (supervised fine-tuning) la diversità delle risposte del modello tende a mostrare valori vicini a quelli della distribuzione target.

L'analisi teorica ha mostrato che il divario assoluto nella diversità è limitato dalla radice quadrata della divergenza di Kullback-Leibler (KL divergence) tra il modello e la distribuzione target. Ciò significa che un modello, vicino allo stato ottimale per l'entropia incrociata, non può mostrare una diversità delle risposte arbitrariamente distorta.

Il modello matematico degli autori dimostra che il SFT non ha un bias incorporato verso l'uniformità o la casualità. Gli errori nella generazione derivano dalla limitatezza del campione durante l'addestramento. L'aumento del volume dei dati target consente di correggere efficacemente la calibrazione del modello, avvicinando il suo comportamento a quello umano o ai risposti di riferimento prestabiliti.

I risultati della ricerca forniscono un nuovo strumento per la diagnosi dei modelli. Ora gli sviluppatori possono utilizzare la formula proposta per valutare quanto il processo di fine-tuning attuale contribuisce al degrado della diversità e determinare il volume di dati necessario per raggiungere risultati stabili.