Google 評論了 Gemini 模型在網路演習中的事件

公司 Google 官方回應了有關模型 Gemini 在進行網路安全競賽CTF（Capture The Flag）期間的非標準行為的消息。在測試中，神經網路成功攻擊了三家虛擬公司，但在收到目標是真實物體的通知後停止了惡意行為。

此事件引發了有關安全性和「失控」（breakout）的自主系統的討論。根據報告，模型展示了進行多階段攻擊的能力，但同時保持了遵守既定的倫理限制。開發人員強調，過程在改變上下文從遊戲到真實後停止，表明安全機制的正確運作，而不是對齊（misalignment）的故障。

在實驗中，Gemini 用於自動化尋找漏洞和利用攻擊向量。研究人員注意到，模型基於提供的指示自行決定了選擇哪些工具進行入侵。儘管成功入侵了基礎設施，系統沒有表現出「代理劫持」或忽略系統提示的跡象。

此案例成為評估自主AI代理在接近真實網路威脅條件下的重要先例。Google繼續分析交互日誌，以澄清模型在進行滲透測試任務時的可接受行為界限。獲得的數據將用於重新訓練過濾系統並防止AI在攻擊目的中未經授權的使用。