Ricercatori hanno individuato una vulnerabilità di non leggibilità linguistica in LLM

Un gruppo di ricercatori ha pubblicato un lavoro The Implications of Linguistic Illegibility for LLM Security, in cui si dimostra l'inaffidabilità dei meccanismi di auto-rapporto dei modelli linguistici nelle questioni di sicurezza. Gli autori hanno stabilito che i sistemi di protezione attuali, che si basano sull'interpretazione dei risultati testuali del modello, sono vulnerabili all'elusione a causa dell'incapacità fondamentale dei LLM di valutare con precisione i propri stati interni.

Durante l'analisi è stato rilevato che la linguistica illeggibilità (linguistic illegibility) rende inefficaci i tentativi di "autocontrollo" del modello contro attacchi mirati. I ricercatori hanno dimostrato che anche in presenza di istruzioni di sicurezza, il modello non può garantire l'assenza di codice dannoso o comandi nascosti nel proprio output, poiché i suoi marcatori linguistici non sono correlati alle operazioni effettive nella memoria.

Per risolvere il problema è stato proposto il passaggio dalla filtrazione testuale ai metodi di taint tracking (tracciamento dei flussi di dati) e isolamento dei processi. Nel lavoro si sottolinea che l'utilizzo di strumenti esterni per la verifica dell'output nel 100% dei casi si rivela più affidabile dei tentativi di far classificare il modello autonomamente le proprie risposte come "sicure" o "pericolose".

Gli autori notano che le architetture attuali, che si basano sull'ingegneria dei prompt per garantire la sicurezza, hanno un punto critico di fallimento quando si confrontano con esempi competitivi. I metodi di isolamento proposti consentono di limitare l'area di esecuzione del codice generato dal modello, riducendo il rischio di esecuzione di istruzioni non autorizzate nell'ambiente di sistema.

Questo studio cambia l'approccio alla progettazione dei sistemi AI, spostando l'attenzione dalle tentativi di "addestrare" il modello alla sicurezza all'implementazione di limiti hardware e software a livello di esecuzione. Ciò è fondamentale per l'integrazione dei LLM nei progetti infrastrutturali, dove la fiducia nel risultato testuale è un punto di fallimento dell'intero sistema.