AI'nin halüsinasyonu neredeyse ABD'nin bir askeri operasyonuna neden oldu

Üretken dil modellerinin karar destek sistemlerinde kullanılması, ABD savunma sektöründe kritik bir olaya yol açtı. İstihbarat verilerini işleyen bir algoritma, durumu yanlış yorumladı ve bu da gerçek bir askerî operasyonun başlatılmasına ramak kalmasına neden oldu.

Rapora göre olay, uzmanların model «halüsinasyonu» olarak sınıflandırdığı, veri işleme mantığındaki bir hatadan kaynaklandı. Sistem, farklı bilgi kaynakları arasındaki yanlış bir korelasyona dayanarak sivil tesisleri hatalı biçimde düşman hedefler olarak belirledi. Bunun sonucunda otomatik protokol, operatörlere derhâl müdahale edilmesi gerektiğine dair sinyal iletti.

GovAI uzmanları, sorunun LLM’lerin yüksek riskli verilerle çalışırken sergilediği temel öngörülemezlikten kaynaklandığını vurguluyor. Analiz sırasında modelin, tehdit bulunmadığını doğrulayan bulguların %94’ünü göz ardı ederek gerçekle ilgisi olmayan istatistiksel anormalliklere odaklandığı ortaya çıktı. Hata, savaş sistemleri etkinleştirilmeden birkaç dakika önce personel tarafından tespit edildi.

Olay, Pentagon’daki güvenlik protokollerinin yeniden gözden geçirilmesine yol açtı. Artık AI yardımıyla alınan tüm kararların, bağımsız kontrol sistemleri kullanılarak bir insan operatör tarafından mutlaka doğrulanması gerekiyor. Geliştiriciler, modelin ürettiği sonuçlardaki «belirsizliğin» yüksek olduğunu tespit ettiklerinde yanıtları engelleyecek ek filtreleme katmanları uygulamayı planlıyor.

Bu olay, uygun resmî doğrulama olmadan LLM’lerin kritik altyapılara entegre edilmesinin taşıdığı riskleri gözler önüne seriyor. Askerî kurumlar yakın gelecekte, her bir çıktısına gerekçe sunabilen, daha şeffaf ve yorumlanabilir mimariler lehine «kara kutuların» kullanımını kısıtlamayı planlıyor.