I watermark SynthID riducono la resistenza dei modelli alle richieste dannose

Ricercatori di Lasso Security hanno scoperto che l'implementazione di meccanismi di marcatura del testo, come SynthID, rende i modelli linguistici più vulnerabili all'elusione dei filtri di sicurezza. Durante i test, è emerso che i modelli che utilizzano i watermark accettano più frequentemente di eseguire istruzioni dannose che in condizioni normali verrebbero bloccate dai sistemi di protezione integrati.

L'analisi ha mostrato che gli algoritmi di inserimento dei marcatori alterano la distribuzione delle probabilità dei token, indebolendo involontariamente i meccanismi di "rifiuto". Negli esperimenti con diverse architetture LLM, i ricercatori hanno rilevato una riduzione statisticamente significativa dell'efficacia dei sistemi di sicurezza quando i watermark sono attivati. In alcuni scenari, la probabilità di elusione delle restrizioni aumentava del 15-20% rispetto alle versioni di base dei modelli senza marcatura.

La tecnologia dei watermark, attivamente implementata per identificare il contenuto AI, richiede l'introduzione di distorsioni statistiche nei dati di output. Queste distorsioni, secondo gli esperti, creano "rumore" che gli aggressori possono utilizzare per mascherare le richieste dannose. Di conseguenza, il modello percepisce la richiesta di attacco come legittima, poiché la struttura statistica della risposta è distorta verso la generazione e non il blocco.

Questo studio sottolinea il conflitto tra le esigenze dei regolatori in materia di trasparenza AI e la necessità di garantire la sicurezza dei modelli. Gli sviluppatori devono trovare un equilibrio in cui i metodi di identificazione del contenuto non riducano la resistenza complessiva dei sistemi agli attacchi di tipo "jailbreak" e ad altre forme di manipolazione del comportamento delle reti neurali.