I ricercatori hanno dimostrato la capacità dei modelli AI di compensazione funzionale

I ricercatori hanno dimostrato che i modelli di reti neurali sono in grado di adattarsi ai danni alle strutture interne, ridistribuendo le risorse computazionali per mantenere la precisione nell'esecuzione dei compiti. Nel corso dell'esperimento, un modello con 4 miliardi di parametri è stato addestrato a risolvere problemi geografici, mentre i ricercatori hanno soppresso forzatamente l'attività delle 10 direzioni più significative (J-lens directions) nelle attivazioni dei neuroni.

I risultati hanno mostrato che dopo il danno artificiale ai vettori chiave, la precisione del modello non solo non è diminuita, ma è aumentata nel range dal 20,9% al 97,7%. Questo effetto indica la presenza di meccanismi di "compensazione funzionale", in cui il modello trova percorsi alternativi per l'elaborazione dei dati, aggirando i segnali interni di monitoraggio bloccati. Un comportamento simile testimonia l'elevata ridondanza delle rappresentazioni interne nelle architetture moderne.

Questo studio conferma l'ipotesi che le reti neurali possiedono la capacità di autoorganizzazione in caso di perdita di parte delle risorse computazionali. Gli autori del lavoro hanno utilizzato metodi di analisi specifici delle attivazioni per identificare come il modello ricostruisca le sue connessioni interne in risposta all'intervento esterno. I dati ottenuti consentono di comprendere meglio la resilienza dei modelli profondi ai guasti locali e alla degradazione dei pesi.

La comprensione di come si verifichi esattamente la ridistribuzione delle funzioni all'interno del modello è critica per lo sviluppo di sistemi più affidabili. La capacità delle reti neurali di compensare i danni può essere utilizzata per creare architetture a tolleranza di guasto, in grado di mantenere la funzionalità anche in caso di guasto parziale di componenti individuali o di errori durante il processo di quantizzazione e compressione dei pesi.