I ricercatori hanno presentato il benchmark SAFE per valutare la raccolta di dati dei modelli

I ricercatori hanno pubblicato un lavoro SAFE, nel quale hanno esaminato la capacità dei modelli AI avanzati di richiedere autonomamente informazioni sulla sicurezza prima di eseguire azioni. All'esperimento hanno partecipato GPT-5.5, o3, Claude Opus 4.8 e Claude Sonnet 4.6, che dovevano prendere decisioni sulla distribuzione di compiti in condizioni di diverso costo e probabilità di rischi.

I risultati hanno mostrato differenze sostanziali nelle strategie dei modelli. Claude Opus 4.8 preferisce verificare i dati quasi sempre, mentre o3 più spesso salta la fase di raccolta delle informazioni, dimostrando una alta sensibilità alle soglie di decisione. GPT-5.5 e Claude Sonnet 4.6 hanno occupato una posizione intermedia nel comportamento.

L'analisi ha rilevato che la disponibilità dei modelli a verificare i dati dipende fortemente dalla gravità delle minacce potenziali e dal costo di ottenimento delle informazioni. Allo stesso tempo, la probabilità di insorgenza di un problema (cambiamento dal 10% al 70%) influisce sul comportamento in modo debole - l'indicatore cambia di non più di 21 punto percentuale. Il principale driver dell'evitamento delle verifiche è l'"attrito" nella ricerca dei dati e la minaccia per il guadagno finale dell'esecuzione del compito.

Gli autori hanno anche rilevato un divario tra la logica dei modelli e le loro spiegazioni. I modelli spesso si riferiscono alla probabilità di rischio nei loro rapporti, sebbene questo parametro influisca quasi per niente sulle loro azioni. Allo stesso tempo, il cambiamento del formato di presentazione dei dati cambia notevolmente le decisioni, restando tuttavia inosservato nelle giustificazioni testuali dei modelli.

La ricerca sottolinea che la sicurezza nella distribuzione dipende non solo dalla reazione ai rischi noti, ma anche dalla capacità del sistema di cercare consapevolmente prove di sicurezza. Il lavoro è pubblicato sotto licenza CC BY 4.0.