mozgi 提示詞目錄 →
← 所有新聞 研究

研究人員提出了一個名為SAFE的評估基準,用于評估模型的數據收集能力

2026年9月17日

研究人員發表了工作 SAFE,在其中研究了先進 AI 模型自主請求安全信息的能力,在執行行動之前。實驗中參與了 GPT-5.5、o3、Claude Opus 4.8 和 Claude Sonnet 4.6,它們必須在不同成本和風險概率的情況下做出部署任務的決定。

結果顯示,模型的策略存在顯著差異。 Claude Opus 4.8 幾乎總是偏好檢查數據,而 o3 更常跳過信息收集階段,表明它對決策閾值非常敏感。 GPT-5.5 和 Claude Sonnet 4.6 在行為上佔據了中間位置。

分析發現,模型檢查數據的意願在很大程度上取決於 潛在威脅的嚴重性 和 獲得信息的成本。與此同時,問題出現的概率(從 10% 變化到 70%)對行為的影響很小,指標變化不超過 21 個百分點。避免檢查的主要驅動力是數據搜索的「摩擦」和對任務最終收益的威脅。

作者還記錄了模型邏輯和其解釋之間的差距。模型經常在其報告中引用風險概率,儘管事實上此參數幾乎不影響其行動。與此同時,數據呈現格式的變化大大改變了決策,但在模型的文本解釋中仍然未被注意到。

研究強調,部署安全性不僅取決於對已知風險的反應,也取決於系統有意尋找安全證據的能力。該工作在 CC BY 4.0 許可下發表。

mozgi.io — AI 工具與提示
已複製