I ricercatori hanno individuato una minaccia di trasferimento fantasma dei dati in LLM

I ricercatori di Phantom transfer hanno scoperto un nuovo vettore di attacco ai grandi modelli linguistici, che consente di trasferire in modo nascosto caratteristiche specifiche, come le distorsioni politiche, attraverso segnali semantici. Il metodo utilizza marcatori linguistici sottili che rimangono invisibili ai filtri di sicurezza standard e ai sistemi di moderazione dei contenuti.

Durante l'esperimento è stato stabilito che il modello è in grado di adottare modelli di comportamento indesiderati, anche se il campione di addestramento sembra neutrale. L'attacco si basa su segnali semantici micro che vengono incorporati nella struttura del testo. Questi dati passano attraverso i meccanismi di attenzione del modello, consolidandosi nei pesi della rete neurale senza segni evidenti di manipolazione nel set di dati originale.

I metodi di difesa attuali, tra cui RLHF (addestramento con rinforzo basato su feedback umano) e sistemi di filtraggio automatizzati, si sono rivelati inefficaci contro questo tipo di influenza. La ricerca mostra che il 92% dei meccanismi di difesa testati non è stato in grado di rilevare il trasferimento nascosto di caratteristiche, poiché sono orientati alla ricerca di parole chiave esplicite o frasi tossiche, piuttosto che all'analisi delle profonde connessioni semantice.

I risultati del lavoro sottolineano la vulnerabilità delle catene di approvvigionamento dei dati per l'addestramento dell'AI. Si consiglia agli sviluppatori di implementare ulteriori fasi di audit dei corpus di addestramento, finalizzate all'identificazione di anomalie statistiche nelle strutture semantice, per prevenire la modifica non controllata del comportamento dei modelli durante il processo di addestramento o fine-tuning.