I ricercatori hanno imparato a rilevare prompots maligni attraverso stati nascosti LLM

I ricercatori hanno presentato un metodo per rilevare contenuti pericolosi in LLM, basato sull'analisi delle attivazioni interne della rete neurale invece di utilizzare filtri esterni. Il nuovo approccio consente di rilevare richieste dannose direttamente durante l'elaborazione dei dati, eliminando la necessità di ulteriori calcoli per modelli di protezione esterni.

La base dell'esperimento è stata la scelta del modello LLaMA-3.1-8B. Gli autori hanno addestrato classificatori compatti basati su MLP, contenenti solo 12,6 milioni di parametri. Questi sonde analizzano gli stati nascosti del modello, consentendo di classificare immediatamente la richiesta in ingresso come sicura o dannosa senza ritardi, caratteristici dei sistemi di sicurezza tradizionali.

L'efficacia del metodo è stata confermata sui set di dati WildJailbreak, Beavertails e AEGIS 2.0. I risultati hanno mostrato metriche F1 del 99%, 83% e 84% rispettivamente. Questi valori sono paragonabili alla qualità del lavoro dei modelli di guardia specializzati, che superano la soluzione proposta per dimensioni di 1000 volte.

L'utilizzo degli stati interni del modello riduce radicalmente i ritardi e il consumo di risorse, aspetti critici per i sistemi autonomi e i dispositivi con potenza di calcolo limitata. Il metodo consente di integrare i meccanismi di sicurezza direttamente nell'architettura LLM, garantendo la protezione in tempo reale senza perdita di prestazioni.