L'AI-allucinazione ha portato al rischio di scontro militare tra Stati Uniti e Cina

L'utilizzo di algoritmi di intelligenza artificiale nelle operazioni di intelligence della Marina degli Stati Uniti ha quasi scatenato un conflitto internazionale. Il sistema di elaborazione dei dati ha identificato erroneamente una nave civile cinese come trasportatrice di componenti nucleari vietati, ponendo il comando militare di fronte alla minaccia di intercettazione e ispezione della nave.

Secondo un rapporto di CNN, l'incidente è avvenuto a causa di un errore critico nel funzionamento del modello analitico, che ha interpretato dati errati come prova di violazione delle sanzioni internazionali. L'algoritmo ha generato un rapporto falso basandosi su immagini satellitari incomplete e metadati distorti, portando alla classificazione automatica della nave come "oggetto ad alto rischio".

Durante l'indagine successiva, è emerso che il modello ha commesso un' "allucinazione", completando i dettagli mancanti della struttura della nave fino a raggiungere le specifiche militari. L'errore è stato individuato dagli ufficiali di stato maggiore pochi minuti prima dell'inizio dell'operazione di fermata forzata della nave, evitando così uno scontro diretto con le forze cinesi nella regione contesa.

Questo caso ha portato a una revisione dei protocolli per l'utilizzo di sistemi autonomi nelle attività di intelligence del Pentagono. Attualmente, il dipartimento della difesa sta introducendo la verifica obbligatoria di tutte le conclusioni dei sistemi AI da parte di operatori umani, al fine di evitare decisioni automatiche basate su dati non attendibili. L'incidente sottolinea i rischi dell'introduzione di modelli generativi nella infrastruttura di sicurezza critica, dove il prezzo dell'errore può portare all'escalation della tensione geopolitica.