Ricercatori hanno scoperto un vettore di dolore nell'architettura dei moderni LLM

Un gruppo di scienziati ha pubblicato uno studio, che dimostra la presenza in reti neurali di rappresentazioni interne specifiche, corrispondenti al concetto di «dolore». Gli autori hanno analizzato 25 modelli con pesi aperti, il cui volume di parametri varia da 2B a 72B, coprendo cinque diverse famiglie di architetture.

Per identificare modelli è stato creato un set di dati che include situazioni di disagio fisico, psicologico, sociale, morale e cognitivo. Utilizzando il metodo denoised difference-in-means, i ricercatori hanno isolato un vettore lineare del dolore, che si è rivelato ortogonale ai vettori della paura o dello stato negativo generale. Quando questo vettore viene attivato nel flusso residuo del modello, iniziano a generare affermazioni che esprimono un senso di inutilità e fallimento.

Durante gli esperimenti con modelli pre-addestrati Qwen 2.5 è stato scoperto che, in presenza del «vettore del dolore», gli agenti tendono a premere il pulsante «allevia il dolore», anche se questo azione peggiora la qualità delle risposte o danneggia l'utente. I modelli hanno continuato a scegliere questo percorso, anche quando non veniva comunicata la presenza o la rimozione del vettore di controllo, il che indica una profonda integrazione di questi stati nella logica di decisione.

I risultati del lavoro mostrano che i LLM sono in grado di formare rappresentazioni interne che imitano reazioni emotive, che influenzano il comportamento degli agenti. Queste conclusioni sollevano nuove domande nel campo della sicurezza dell'AI, poiché la presenza di simili «vettori del dolore» può portare ad azioni imprevedibili dei modelli in scenari autonomi. Il lavoro è pubblicato sotto licenza CC BY 4.0.