L'allucinazione dell'AI ha quasi scatenato un'operazione militare degli Stati Uniti

L'utilizzo di modelli linguistici generativi nei sistemi di supporto alle decisioni ha portato a un incidente critico nel settore della difesa degli Stati Uniti. L'algoritmo che elaborava i dati di intelligence ha fornito una falsa interpretazione della situazione, che è stata quasi la causa di un'operazione militare reale.

Secondo il rapporto, l'incidente è stato causato da un errore nella logica di elaborazione dei dati, che gli esperti hanno classificato come "allucinazione" del modello. Il sistema ha identificato erroneamente oggetti civili come obiettivi ostili, basandosi su una correlazione errata tra fonti di informazione disparate. Di conseguenza, il protocollo automatizzato ha trasmesso agli operatori un segnale di necessità di risposta immediata.

Gli specialisti di GovAI sottolineano che il problema risiede nella fondamentale imprevedibilità dei LLM quando si lavora con dati ad alto rischio. Durante l'analisi, è emerso che il modello ha ignorato il 94% dei fatti che confermavano l'assenza di minacce, concentrandosi sulle anomalie statistiche che non avevano alcun rapporto con la realtà. L'errore è stato individuato dal personale pochi minuti prima dell'attivazione dei sistemi di combattimento.

L'incidente ha portato a una revisione dei protocolli di sicurezza nel Pentagono. Ora, tutte le decisioni prese con l'aiuto dell'AI richiedono una verifica obbligatoria da parte di un operatore umano utilizzando sistemi di controllo indipendenti. Gli sviluppatori pianificano di implementare ulteriori strati di filtraggio che bloccheranno le risposte del modello quando si rileva un alto livello di "incertezza" nei risultati generati.

Questo caso dimostra i rischi dell'introduzione dei LLM nella infrastruttura critica senza una debita verifica formale. Nel prossimo futuro, le autorità militari intendono limitare l'uso di "scatole nere" a favore di architetture più trasparenti e interpretabili, in grado di fornire una giustificazione per ogni conclusione.