Cloudflare新增了設定以阻止AI的訓練

Cloudflare 推出了新的「Disallow AI Training」功能，允許網站所有者禁止使用其內容來訓練神經網絡。這個設定可以在控制面板中進行，允許用戶對搜索引擎機器人和收集數據的爬蟲進行訪問控制。

技術實現基於 Google、Microsoft 和 Apple 已經支持的標準。在啟用此選項後，系統會自動更新訪問規則，阻止用於收集訓練數據的機器人，但仍允許搜索引擎對頁面進行索引。這解決了「混合」流量的問題，即同一個爬蟲既執行搜索功能，又收集訓練數據集。

資源所有者可以通過安全設置中的單一切換控制訪問。公司強調，這個解決方案旨在確保在自主代理和 LLM 數量增長的情況下，對智慧財產權具有透明度和控制權。該工具已經可供所有平台用戶使用，无需手動編輯 robots.txt 文件。

實施此功能是對於日益增多的未經授權使用內容來訓練專有模型的事件的回應。根據 社群討論，這種方法允許網站所有者在不犧牲數據隱私的情況下保持在搜索結果中的可見性。這簡化了管理員的訪問控制，因為他們之前必須阻止整個 IP 地址範圍或複雜的 User-Agent鏈。