I ricercatori hanno presentato il benchmark TranSGrid per valutare il generalizzamento sistemico

Un gruppo di ricercatori ha presentato TranSGrid - un nuovo set di test progettato per valutare le capacità delle reti neurali di generalizzare sistematicamente attraverso la combinazione di deduzione, induzione e abduzione. Gli autori del lavoro affermano che i benchmark esistenti semplificano eccessivamente il compito, basandosi sulla composizione lineare delle azioni e sugli obiettivi espliciti, il che non consente di testare appieno le capacità cognitive dei modelli.

Durante gli esperimenti, sette diverse architetture Transformers sono state testate su 4800 compiti del set TranSGrid. I risultati hanno mostrato un divario significativo nelle prestazioni: se nel campione di test standard il modello più grande mostra un'accuratezza del 79,6%, in TranSGrid questo valore scende al 55,3%. Nei sottinsiemi di compiti più difficili, l'efficacia del modello scende al 15,8%.

Lo studio dimostra che i metodi di valutazione attuali, che si concentrano esclusivamente sulla produttività, sono insufficienti per misurare la vera generalizzazione sistematica. Quando gli autori hanno semplificato artificialmente i compiti in TranSGrid, rendendo la composizione delle azioni lineare o definendo obiettivi espliciti, i tassi di successo dei modelli sono tornati ai valori alti consueti. Ciò conferma che sono proprio le esigenze induttive e abduttive a costituire barriere critiche per i sistemi attuali.

Il lavoro sottolinea la necessità di passare a metodi di test più complessi, che richiedono alle reti neurali di applicare simultaneamente tutte e tre le forme di inferenza logica. I dati ottenuti indicano che le architetture attuali incontrano ancora difficoltà nel risolvere compiti fondamentalmente nuovi, che richiedono la combinazione di elementi noti in condizioni non standard.