OpenAI ha presentato un framework per rilevare le incongruenze nei modelli

OpenAI ha annunciato il lancio di un nuovo sistema di monitoraggio, progettato per rilevare e divulgare pubblicamente casi di "mancata allineazione" (misalignment) nel comportamento delle sue reti neurali. Il framework è finalizzato a standardizzare la segnalazione dei rischi che sorgono nell'utilizzo di grandi modelli linguistici.

Il sistema si basa su sei casi interni, che la società ha analizzato per identificare potenziali minacce alla sicurezza. La metodologia prevede un monitoraggio dettagliato di come il modello si discosti dalle istruzioni fornite o mostri pattern di comportamento indesiderati durante l'esecuzione di compiti complessi.

Lo sviluppo è destinato a diventare uno strumento di autoregolamentazione, consentendo alla società di dimostrare trasparenza di fronte ai regolatori. L'attuazione di tali standard è un tentativo di OpenAI di definire la direzione della politica globale in materia di sicurezza dell'AI, anticipando l'adozione di leggi severe a livello statale.

I dati raccolti nell'ambito del framework saranno utilizzati per aggiustare i processi di formazione dei modelli e aumentare la loro prevedibilità. La società prevede di integrare questo meccanismo in tutte le future fasi di sviluppo, al fine di minimizzare i rischi di risposte non controllate del sistema.

Questo passo cambia l'approccio alla valutazione della sicurezza: invece di test interni chiusi, la società passa a un sistema di segnalazione formalizzato. Ciò crea un precedente per altri sviluppatori, costringendo l'industria a seguire standard uniformi per la divulgazione di informazioni sui malfunzionamenti della logica delle reti neurali.