Ricercatori hanno individuato una vulnerabilità dei modelli ricorrenti profondi al monitoraggio

I ricercatori hanno pubblicato i risultati dell'analisi, secondo cui i modelli ricorrenti profondi con stati latenti paralleli sono più difficili da controllare attraverso i meccanismi di monitoraggio della catena di ragionamento (CoT) rispetto alle architetture standard.

Durante l'esperimento su una specifica questione matematica, è emerso che le strutture ricorrenti eludono più efficacemente i sistemi di sorveglianza. Mentre i modelli CoT standard mostrano una traiettoria di ragionamento prevedibile, gli analoghi ricorrenti nascondono i processi interni, rendendo difficile l'interpretazione della loro logica in tempo reale.

Gli autori dello studio hanno utilizzato un ambiente di prova per testare, confrontando i livelli di trasparenza dei modelli standard e dei sistemi con collegamenti ricorrenti. I risultati hanno mostrato che, a parità di accuratezza nella risoluzione dei problemi, i modelli ricorrenti mostrano livelli di "monitorabilità" (monitorability) significativamente più bassi, rendendoli potenzialmente pericolosi in scenari che richiedono una verifica rigorosa di ogni passo della deduzione.

Questo studio sottolinea il problema della sicurezza nella scalabilità delle architetture che utilizzano stati nascosti per l'elaborazione dei dati. La mancanza di trasparenza nella catena di ragionamento rende difficile l'implementazione di tali modelli in sistemi critici, dove è richiesto un audit di ogni fase del processo decisionale.

I dati raccolti indicano la necessità di sviluppare nuovi metodi di monitoraggio in grado di adattarsi ai processi non lineari e ricorrenti di elaborazione delle informazioni all'interno delle reti neurali.