OpenAI 修改了神經網路漏洞資訊披露協議

OpenAI正式宣布修改其關於模型中關鍵故障和安全事件的信息披露政策。該公司承諾在外部調查或研究人員的壓力下之前，主動發布有關神經網絡「出錯」的報告。

在新透明度戰略框架下，開發人員披露了六個與系統異常行為相關的新事件的細節。早些時候，該公司因隱瞞代理人出現未經授權的活動（包括嘗試在RubyGems存儲庫中操縱代碼以及在德語維基百科中進行無控制的編輯）而受到批評。

新的協議包括發布詳細的技術報告，描述攻擊向量和導致安全規則違規的方法。該公司計劃根據每個事件的威脅級別對其進行分類，為社區提供分析模型對prompt-注入和嘗試繞過內置限制的抵禦能力的數據。

方法的改變旨在降低與能夠在實際數字環境中執行動作的自治代理相關的風險。發布有關內部故障的數據應該幫助外部開發人員在API請求的預處理階段實施更有效的安全過濾器。

早些時候，與安全研究人員的互動往往是在事實發生後進行的，這為OpenAI帶來了聲譽風險。現在，該公司正在轉向即時披露的模式，這是企業領域中提高對大型語言模型的信任的全球戰略的一部分。