Cloudflare ha aggiunto un'impostazione per bloccare l'addestramento dell'AI

Cloudflare ha presentato una nuova funzione "Disallow AI Training" che consente ai proprietari di siti web di vietare l'utilizzo del proprio contenuto per l'addestramento di reti neurali. L'impostazione è disponibile nel pannello di controllo e consente di limitare l'accesso per i robot di ricerca e i crawler che raccolgono dati per modelli generativi.

L'implementazione tecnica si basa su standard già supportati da Google, Microsoft e Apple. Quando l'opzione è attivata, il sistema aggiorna automaticamente le regole di accesso, bloccando i bot che raccolgono dati per l'addestramento, ma mantenendo l'indicizzazione delle pagine per i motori di ricerca. Ciò risolve il problema del traffico "misto", in cui lo stesso crawler esegue funzioni di ricerca e raccolta di dati per l'addestramento.

I proprietari di risorse possono gestire l'accesso attraverso un unico interruttore nelle impostazioni di sicurezza. La società sottolinea che questa soluzione è finalizzata a garantire la trasparenza e il controllo sulla proprietà intellettuale in un contesto di crescita del numero di agenti autonomi e LLM. Lo strumento è già disponibile per tutti gli utenti della piattaforma senza la necessità di modificare manualmente i file robots.txt.

L'introduzione della funzione è stata una risposta ai casi sempre più frequenti di utilizzo non autorizzato del contenuto per l'addestramento di modelli proprietari. Secondo le discussioni nella comunità, questo approccio consente ai proprietari di siti web di mantenere la visibilità nei risultati di ricerca senza sacrificare la privacy dei dati. Ciò semplifica la gestione dell'accesso per gli amministratori, che in precedenza erano costretti a bloccare interi intervalli di indirizzi IP o complesse catene di User-Agent.