I ricercatori hanno proposto un metodo di z-scoring per la correzione della frequenza dei token in LLM

I ricercatori hanno scoperto che l'offset J-lens nei modelli linguistici è direttamente correlato alla frequenza di apparizione dei token nel set di dati di training. L'applicazione del metodo z-scoring consente di neutralizzare efficacemente questo influsso, aumentando la precisione della generazione delle risposte.

Durante gli esperimenti, il metodo è stato testato sul modello Gemma-2-9B-it, dove è stato possibile ottenere un miglioramento significativo della qualità delle previsioni. Inoltre, l'utilizzo dello z-scoring ha permesso di ottenere valori di lettura (readouts) non nulli per il modello compatto Qwen3-1.7B, che in precedenza presentava limitazioni con i metodi di analisi standard.

Dal punto di vista tecnico, il processo consiste nella normalizzazione dei logit sulla base della distribuzione statistica della frequenza dei token. Ciò consente al modello di "vedere" le parole nascoste, che in precedenza erano soppressi a causa del bias statistico verso i token più frequenti. Il metodo non richiede il riaddestramento dei pesi e può essere applicato durante la fase di inferenza.

Questo approccio risolve il problema della tendenza dei modelli verso i token ad alta frequenza, che è particolarmente rilevante per le architetture più piccole. La correzione consente di estrarre più efficacemente le informazioni dai livelli nascosti, ampliando le possibilità di interpretazione delle reti neurali senza modificare la loro struttura di base.