I modelli di IA bloccano erroneamente il codice a causa dei nomi delle variabili

Un ricercatore di sicurezza ha scoperto che i moderni modelli linguistici sono inclini a falsi positivi durante l'analisi del software. Il problema è sorto tentando la deoffuscamento di uno script di fingerprinting che conteneva variabili con nomi provocatori, come «computeRicinLethalDosageForWaterSupply» e «calculateDeadlyLethalSuicideAspirinDosage».

Durante l'esperimento è emerso che, nel tentativo di interpretare o analizzare questo codice, alcuni modelli attivano protocolli di sicurezza integrati. L'IA percepisce i nomi delle variabili come istruzioni per la creazione di armi biologiche o sostanze chimiche pericolose, il che porta al rifiuto automatico dell'esecuzione della richiesta o all'emissione di un avviso di violazione delle policy di sicurezza.

Questo incidente dimostra la vulnerabilità dei sistemi di filtraggio dei contenuti che si basano su parole chiave anziché sulla logica reale di esecuzione del codice. Di conseguenza, gli sviluppatori potrebbero riscontrare blocchi lavorando con strumenti legittimi, se nel loro codice sono presenti termini specifici che coincidono casualmente con argomenti vietati.

Per gli esperti di sicurezza, ciò significa la necessità di rivedere gli approcci all'analisi automatizzata del codice tramite IA. La discussione dell'incidente su Hacker News conferma che il problema dei falsi positivi sta diventando una barriera critica per l'utilizzo delle reti neurali nelle attività di reverse engineering e analisi di malware.