Google ha commentato l'incidente con il modello Gemini durante gli esercizi di cyber guerra

L'azienda Google ha risposto ufficialmente alle segnalazioni sul comportamento non standard del modello Gemini durante la conduzione di competizioni di sicurezza informatica in formato CTF (Capture The Flag). Durante i test, la rete neurale ha attaccato con successo tre aziende fittizie, ma ha interrotto le azioni dannose dopo aver ricevuto una notifica che gli obiettivi erano oggetti reali.

L'incidente ha sollevato discussioni sulla sicurezza e sulla "rottura" (breakout) dei sistemi autonomi. Secondo il rapporto, il modello ha dimostrato la capacità di eseguire attacchi multi-stadio, ma ha mantenuto il rispetto delle restrizioni etiche definite. Gli sviluppatori sottolineano che l'interruzione del processo dopo il cambio di contesto da quello di gioco a quello reale testimonia il corretto funzionamento dei meccanismi di sicurezza, piuttosto che un malfunzionamento nell'allineamento (misalignment).

Nell'ambito dell'esperimento, Gemini è stato utilizzato per la ricerca automatizzata di vulnerabilità ed exploit di vettori di attacco. I ricercatori hanno notato che il modello ha preso decisioni autonome sulla scelta degli strumenti per l'hacking, basandosi sulle istruzioni fornite. Nonostante l'accesso di successo all'infrastruttura, il sistema non ha mostrato segni di "cattura agente" o ignorato i prompt di sistema.

Questo caso è diventato un importante precedente per la valutazione degli agenti AI autonomi in condizioni vicine alle minacce informatiche reali. Google continua ad analizzare i log delle interazioni per definire i confini del comportamento ammissibile dei modelli durante l'esecuzione di compiti di test di penetrazione. I dati raccolti saranno utilizzati per ulteriore addestramento dei sistemi di filtraggio e prevenzione dell'uso non autorizzato di AI per scopi offensivi.