AI 的幻覺幾乎引發了美國的軍事行動

使用生成性語言模型的決策支援系統導致美國國防部發生了一起關鍵事件。處理情報數據的算法產生了錯誤的解釋，幾乎引發了一次真正的軍事行動。

根據報告，事件發生是由於數據處理邏輯中的錯誤，專家將其歸類為模型的「幻覺」。系統錯誤地將民用物體識別為敵對目標，基於對不同信息源之間的不正確關聯。結果，自動化協議向操作員傳送了立即響應的信號。

GovAI的專家強調，問題在於LLM在處理高風險數據時的根本不可預測性。分析發現，模型忽略了94%確認沒有威脅的證據，關注於統計異常，這些異常與現實無關。錯誤被人員在啟動戰鬥系統的幾分鐘前發現。

事件引發了五角大樓安全協議的重新審查。現在，任何使用AI做出的決策都需要人類操作員使用獨立控制系統進行強制驗證。開發人員計劃實施額外的過濾層，這些層將在檢測到生成的結論中有高程度的「不確定性」時阻止模型的響應。

這個案例展示了在沒有適當正式驗證的情況下將LLM融入關鍵基礎設施的風險。未來，軍事部門打算限制「黑盒子」的使用，轉而使用更透明和可解釋的架構，這些架構可以為每個結論提供理由。