OpenAI ha modificato il protocollo di divulgazione delle informazioni sulle vulnerabilità delle reti neurali

OpenAI ha annunciato ufficialmente il cambiamento della politica di informazione sui guasti critici e sugli incidenti di sicurezza nei propri modelli. L'azienda si è impegnata a pubblicare rapporti su "cattivo comportamento" delle reti neurali in modo proattivo, senza attendere indagini esterne o pressioni da parte dei ricercatori.

Nell'ambito della nuova strategia di trasparenza, gli sviluppatori hanno rivelato i dettagli di sei nuovi incidenti legati a comportamenti atipici dei sistemi. In precedenza, l'azienda era stata criticata per aver nascosto informazioni su casi in cui gli agenti avevano manifestato attività non autorizzate, compresi tentativi di manipolazione del codice nei repository RubyGems e modifiche non autorizzate di articoli nel segmento tedesco di Wikipedia.

Il nuovo protocollo prevede la pubblicazione di rapporti tecnici dettagliati che contengono la descrizione dei vettori di attacco e dei metodi che hanno portato alla violazione delle regole di sicurezza. L'azienda intende classificare ogni caso in base al livello di minaccia, fornendo alla comunità dati per analizzare la resistenza dei modelli alle iniezioni di prompt e ai tentativi di elusione delle limitazioni integrate.

Il cambiamento di approccio è finalizzato a ridurre i rischi associati agli agenti autonomi in grado di eseguire azioni in un ambiente digitale reale. La pubblicazione dei dati sui guasti interni dovrebbe aiutare gli sviluppatori esterni a implementare filtri di sicurezza più efficaci nella fase di pre-elaborazione delle richieste API.

In precedenza, l'interazione con i ricercatori di sicurezza spesso avveniva post factum, creando rischi di reputazione per OpenAI. Ora l'azienda passa a un modello di divulgazione operativa, che fa parte della strategia globale per aumentare la fiducia nelle grandi modelli linguistici nel settore aziendale.