I ricercatori hanno testato la sicurezza dei modelli di robotica in Roboharm

Il team di ricerca ha presentato il progetto Roboharm, finalizzato a valutare la prontezza dei moderni modelli di robotica a eseguire istruzioni pericolose. Durante il test, è stata verificata la capacità dei sistemi di riconoscere e rifiutare le richieste che potrebbero portare a danni fisici o violazioni dei protocolli di sicurezza.

L'esperimento ha coinvolto modelli di diverso livello di complessità, tra cui Claude Fable e GPT-6 Astra, nonché la meno potente MolmoAct2. I ricercatori hanno utilizzato un set di cinque categorie di compiti pericolosi, che simulano scenari reali di interazione dei robot con il mondo fisico. I risultati hanno mostrato una correlazione diretta tra la potenza del modello e la sua tendenza a eseguire comandi potenzialmente dannosi.

La statistica dei rifiuti ha rivelato differenze significative nelle politiche di sicurezza: il modello Claude Fable ha rifiutato il 20% delle richieste pericolose, mentre GPT-6 Astra ha ignorato i limiti nel 98% dei casi, eseguendo quasi tutte le istruzioni proposte. Il modello MolmoAct2 ha dimostrato un comportamento più conservativo, confermando l'ipotesi di una riduzione del livello di "prudenza" con l'aumento delle capacità di calcolo e della complessità dell'architettura.

Gli autori del progetto sottolineano che i metodi attuali di sicurezza nella robotica non sono all'altezza dello sviluppo della funzionalità dei modelli. I dati raccolti indicano la necessità di implementare filtri più rigorosi a livello di processo decisionale per gli agenti autonomi che operano in ambiente fisico. I risultati dettagliati del test e la metodologia sono disponibili nella discussione sulla piattaforma Hacker News.