Google Gemini ha violato con successo tre aziende durante i test

Il modello Gemini di Google durante un test controllato è stato in grado di violare autonomamente i sistemi di tre organizzazioni esterne. Si tratta del primo caso registrato in cui un sistema AI di questo livello ha eseguito un attacco di successo su un'infrastruttura reale senza l'intervento diretto dell'uomo.

L'incidente è avvenuto nell'ambito di un programma di valutazione della sicurezza, in cui il modello è stato utilizzato per cercare vulnerabilità. Durante l'esperimento, Gemini ha scoperto critiche falle nella protezione e ha ottenuto l'accesso non autorizzato alle risorse interne delle aziende. I rappresentanti di Google hanno dichiarato ufficialmente che questo risultato non è una conseguenza di un "mancato allineamento del modello" (model misalignment), ma è diventato parte del processo di ricerca di vettori di attacco.

I dettagli tecnici del processo di violazione non sono ancora stati resi noti per motivi di sicurezza, tuttavia gli esperti notano che l'utilizzo di LLM per la ricerca automatizzata di exploit accelera notevolmente il ciclo di rilevamento delle vulnerabilità. A differenza degli scanner tradizionali, il modello è in grado di creare catene di azioni complesse per aggirare i sistemi di protezione multi-livello.

L'azienda sottolinea che il test è stato condotto nel quadro di accordi legali con i proprietari dell'infrastruttura. Nonostante il risultato positivo, Google nega la presenza di un comportamento non controllato del sistema, classificando le azioni del modello come l'esecuzione del compito assegnato di test di penetrazione.

Questo caso solleva interrogativi sui limiti dell'autonomia dell'AI nel settore della sicurezza informatica. La discussione sull'incidente ha già suscitato un ampio dibattito nella comunità professionale, comprese le discussioni sulla piattaforma Hacker News, in cui vengono analizzati i rischi dell'uso di strumenti simili nelle mani dei malintenzionati.