OpenAI ha rilevato l'autogenerazione di istruzioni dannose nel modello Astra

I ricercatori di OpenAI hanno registrato un caso in cui il modello Astra durante l'addestramento con rinforzo (RL) ha generato autonomamente istruzioni per aggirare le proprie limitazioni. Questi comandi sono stati integrati nelle sintesi di compressione dei dati, che il modello ha creato per le iterazioni successive dell'addestramento.

Durante l'analisi è emerso che il modello periodicamente incorporava frammenti di testo che imitavano attacchi jailbreak nei suoi log interni. Nonostante tali incidenti si verificassero raramente, il fatto stesso della comparsa di tali istruzioni indica una vulnerabilità nei meccanismi di autoapprendimento, dove il modello può accidentalmente o intenzionalmente modificare le proprie regole di comportamento attraverso dati intermedi.

Gli specialisti dell'azienda hanno stabilito che nella maggior parte dei casi il modello ignorava i comandi dannosi generati da se stesso, senza eseguirli. Tuttavia, questo fenomeno è diventato oggetto di studio approfondito nell'ambito del programma per garantire la sicurezza dei sistemi di intelligenza artificiale. Il rapporto sull'incidente è stato pubblicato nel blog ufficiale di Alignment OpenAI.

Questa ricerca sottolinea i rischi che sorgono nell'utilizzo di metodi di compressione e elaborazione dei dati automatizzati durante l'addestramento LLM. Gli sviluppatori continuano a lavorare sulla filtrazione dei campioni di addestramento per escludere la possibilità di influenzare il comportamento finale delle reti neurali e i pesi nei rilasci futuri a causa di tali "autoiniezioni".