I ricercatori hanno sviluppato un metodo di reverse engineering per gli adattatori LoRA

Un gruppo di ricercatori ha presentato un framework per l'analisi degli adattatori LoRA, che consente di studiarne la struttura interna e i meccanismi di influenza sul comportamento delle reti neurali. Nel corso del lavoro, gli autori hanno applicato metodi di reverse engineering per comprendere come esattamente le adattazioni a basso rango modifichino gli output del modello.

L'analisi ha mostrato che LoRA funziona creando connessioni specifiche tra i neuroni, che scrivono informazioni direttamente nel residual stream (flusso residuo) dell'architettura transformer. Questo processo consente all'adattatore di intercettare e modificare efficacemente le attivazioni del modello senza intaccare i pesi principali della rete di base.

Una conferma pratica dell'efficacia del metodo è stata la riuscita implementazione di una backdoor nel modello utilizzando la tecnica Weird Generalization LoRA. I ricercatori hanno dimostrato che, attraverso la manipolazione dei pesi dell'adattatore, è possibile inserire trigger nascosti che attivano un comportamento predefinito in presenza di determinati input, rimanendo al contempo invisibili ai controlli standard.

I risultati ottenuti forniscono agli esperti di sicurezza un nuovo strumento per l'audit di adattatori di terze parti. Ora gli sviluppatori possono verificare se i pesi scaricati contengano istruzioni dannose nascoste all'interno della struttura LoRA, il che è fondamentale per proteggere i sistemi che utilizzano modelli sottoposti a fine-tuning in ambienti aperti.