Trail of Bits ha individuato errori metodologici nel benchmark di 1Password

L'azienda Trail of Bits ha pubblicato i risultati dell'audit del benchmark 1Password, progettato per valutare l'efficacia dell'AI nel patching automatico delle vulnerabilità del codice. I ricercatori sono giunti alla conclusione che la metodologia di test contiene distorsioni critiche che mettono in discussione l'obiettività dei risultati finali.

Gli auditor hanno scoperto che nel set di test erano stati inclusi bug "complessi" selezionati appositamente, e le istruzioni per i modelli contenevano requisiti per applicare correzioni palesemente errate. Inoltre, durante il test era in vigore il divieto di eseguire il codice generato, il che escludeva la possibilità di verificare la funzionalità dei patch in condizioni reali.

Nonostante le manipolazioni rilevate, una nuova analisi dei dati ha mostrato che, utilizzando condizioni di test adeguate, i modelli AI dimostrano risultati discreti. In particolare, il **86%** dei patch creati ha bloccato con successo lo sfruttamento delle vulnerabilità. Ciò conferma che gli strumenti di automazione sono in grado di gestire la protezione del codice, se la metodica di valutazione non limita la loro funzionalità con barriere artificiali.

Questo studio sottolinea il problema della mancanza di approcci standardizzati per la valutazione della sicurezza dei sistemi AI. L'utilizzo di benchmark distorti può portare a una interpretazione errata delle capacità dei modelli, il che è particolarmente critico per gli strumenti che lavorano con la sicurezza informatica e la gestione delle password.