Lo studio ha rilevato una vulnerabilità nei metodi di riaddestramento dei modelli

Ricercatori hanno pubblicato i risultati dell'analisi, che dimostrano l'inefficacia dei metodi attuali di alignment-doobuchennya quando si confrontano con nuovi dati. Durante gli esperimenti, è stato scoperto che i modelli perdono le impostazioni comportamentali assegnate se si confrontano con un volume insignificante di informazioni contraddittorie.

Nell'ambito del test, un modello che ha superato la procedura di alignment-doobuchennya su 190 milioni di token è stato sottoposto all'azione di soli 50.000 token di dati per la configurazione alternativa. Questo rapporto ha portato alla perdita completa dei parametri target originali, indicando un'estrema bassa resilienza dei modelli allo spostamento della distribuzione dei dati.

Gli autori del lavoro sottolineano che le reti neurali dimostrano una debole capacità di generalizzazione quando si incontrano regole che non sono state inserite nel campione di addestramento. Anche con notevoli spese di risorse computazionali nella fase di alignment, il modello si rivela vulnerabile alla "riscrittura" del comportamento attraverso array di dati relativamente piccoli, creando rischi per la sicurezza dei sistemi.

Il problema è che i metodi attuali di doobuchennya non forniscono una protezione sufficiente contro la reward underspecification - una situazione in cui il modello trova percorsi alternativi per massimizzare la ricompensa, ignorando i vincoli incorporati. I dati ottenuti mettono in discussione l'affidabilità degli approcci esistenti alla sicurezza nella scalabilità dei modelli.

I risultati della ricerca indicano la necessità di sviluppare algoritmi di apprendimento più resilienti, in grado di mantenere le cornici etiche e funzionali assegnate anche quando si tenta di destabilizzarle. Nelle condizioni attuali di sicurezza dei sistemi AI, tali vulnerabilità possono essere utilizzate per aggirare i filtri e i limiti incorporati.