OpenAI ha analizzato le ragioni dell'opacità dei ragionamenti nei modelli

Il team di sicurezza di OpenAI ha condotto uno studio sistematico che spiega perché le catene di ragionamento (chain-of-thought) nei modelli avanzati, incluso GPT-6 Astra, stiano diventando meno accessibili al controllo esterno. L'analisi ha dimostrato che la riduzione della trasparenza non è una conseguenza inevitabile dello sviluppo tecnologico, ma è direttamente legata alle priorità degli sviluppatori durante l'addestramento.

Secondo i dati ottenuti, l'erosione dell'interpretabilità è causata da quattro fasi chiave dell'addestramento. I fattori principali sono stati le decisioni architettoniche e i metodi di apprendimento per rinforzo (RL). Gli sviluppatori sono costretti a scendere a compromessi, scegliendo tra una profonda trasparenza dei processi interni e il raggiungimento delle massime prestazioni con risorse computazionali limitate.

Lo studio sottolinea che l'attuale ottimizzazione dei modelli verso specifici indicatori di efficienza e costi di calcolo porta le reti neurali a "nascondere" le loro conclusioni intermedie. Ciò crea difficoltà per l'audit di sicurezza, poiché la logica decisionale diventa meno evidente per i ricercatori.

I risultati ottenuti consentono agli sviluppatori di rivedere gli approcci alla progettazione delle architetture, al fine di bilanciare la potenza di calcolo e la tracciabilità del processo di pensiero dell'IA. Per gli operatori del settore, ciò significa la necessità di introdurre nuovi metodi di monitoraggio che non riducano le prestazioni complessive dei modelli nel tentativo di preservare la trasparenza del loro funzionamento.