RESI ha lanciato un gruppo di lavoro sulla verifica formale dell'AI

RESI (The Institute for Responsible Superintelligence) ha annunciato la creazione di un gruppo di lavoro specializzato, focalizzato sull'applicazione di metodi di verifica formale per garantire la sicurezza dei sistemi di reti neurali.

Il responsabile del settore è stato nominato Adam Chlipala, un noto esperto nel campo della dimostrazione interattiva di teoremi. Il gruppo include anche Shafi Goldwasser e Vinod Vaikuntanathan, specializzati in crittografia e fondamenti teorici della sicurezza computazionale.

L'obiettivo principale della divisione è lo sviluppo di metodi matematicamente rigorosi per verificare la correttezza del funzionamento dei modelli di intelligenza artificiale. I partecipanti intendono utilizzare strumenti di verifica formale per minimizzare i rischi nelle architetture dei sistemi che potenzialmente possono possedere capacità di livello superintelligente.

Il lavoro del gruppo è rivolto a risolvere i problemi di sicurezza informatica legati al comportamento imprevedibile delle reti neurali. I ricercatori intendono integrare metodi di dimostrazione delle proprietà del codice direttamente nei processi di apprendimento e distribuzione dei modelli, per garantire il rispetto delle restrizioni di sicurezza imposte.

La creazione di questo gruppo segna il passaggio da metodi empirici di test dei sistemi di intelligenza artificiale ad approcci basati sulla verifica matematica rigorosa. Ciò consentirà agli sviluppatori di ottenere garanzie di sicurezza che non è possibile garantire con i benchmark standard o i metodi di "test rosso".