研究人員證實數據隱藏對於AI訓練的有效性

一組科學家發表了研究結果60個基於凍結語言模型的系統，通過可學習的連續包交換信息。

在測試中，應用了不同的證據遮罩條件、所有權標記和用中性填充替換外部數據。當存在遮罩標記時，數據遮罩提高了任務執行的準確度，分別為0.846和0.859中位數分數，適用於兩個和三個操作的組合。所有12個控制對都成功通過了設置的準確度閾值，證實了限制訪問信息的假設優勢。

研究人員對18個系統進行了審計，應用了遮罩，並在每個系統中記錄了處理數據時的預測中間值變化。儘管在測試中取得了成功，但顯式角色標記對系統行為的影響仍未被完全研究，因為沒有任何全局可見的模型通過了遵循標記的測試。

作者根據arXiv授權，提供了開放訪問的協議、結果和模型檢查點。獲得的數據表明，對數據可見性的架構限制可能成為開發更可靠和邏輯一致的AI系統的關鍵因素，使其能夠更好地處理新的任務組合。