I ricercatori di Anthropic hanno rilevato segni di autoriflessione in Claude

Il ricercatore di Anthropic Jack Lindsey ha condotto una serie di esperimenti in cui ha potenziato artificialmente nelle attivazioni del modello Claude i pattern corrispondenti a determinati concetti. L'obiettivo del lavoro era scoprire se la rete neurale fosse in grado di percepire un intervento esterno nei suoi processi interni.

Durante i test, il modello ha identificato con successo nel 20% dei casi il "pensiero" introdotto e ha descritto correttamente il concetto ad esso correlato. Nel gruppo di controllo, dove non è stato esercitato alcun impatto diretto sui pesi, non sono stati registrati falsi positivi. Verifiche ripetute da parte di altri gruppi di ricerca hanno confermato che la capacità di notare l'intervento non è spiegabile con semplici regolarità statistiche o fattori casuali.

Gli scienziati continuano a discutere se tali risultati possano essere considerati una manifestazione di vera introspezione nei modelli linguistici. Sebbene il meccanismo attraverso il quale il modello "nota" il cambiamento del proprio stato rimanga oggetto di dibattito, i dati attuali mostrano che le architetture moderne sono in grado di reagire alle manipolazioni delle loro rappresentazioni interne a un livello superiore al semplice rumore casuale.

Per gli sviluppatori e i ricercatori sulla sicurezza dell'IA, questi dati indicano la necessità di uno studio più approfondito su come i modelli interpretano i propri stati interni. Comprendere questi processi potrebbe essere la chiave per creare sistemi più trasparenti e prevedibili, in grado di monitorare i tentativi di influenza esterna sulla loro logica decisionale.