I ricercatori hanno proposto metriche per la verifica dell'interpretazione meccanicistica

I ricercatori hanno presentato un nuovo approccio alla meccanistica interpretabilità, definendola come un compito che può essere sottoposto a una rigorosa verifica. L'idea principale consiste nel sostituire singoli componenti della rete neurale con analoghi semplificati e successivamente misurare le perdite durante la ricostruzione dei dati di output.

Per valutare la qualità dell'interpretazione, gli autori propongono di utilizzare metriche quantitative basate sul numero di nodi e archi nel grafo del modello, nonché sui parametri di riutilizzo delle caratteristiche (feature reuse). Nel corso del lavoro è stato stabilito che i metodi classici, come le reti tensoriali e le approssimazioni a basso rango, non garantiscono una precisione sufficiente per una completa verifica dei processi interni del modello.

Il metodo richiede che qualsiasi interpretazione della struttura della rete neurale consenta di ripristinare il comportamento originale del modello con minimi scostamenti. Se la sostituzione di parte dei pesi con uno schema semplificato porta a un aumento significativo della reconstruction loss, l'interpretazione è considerata incompleta o errata. Ciò consente di formalizzare il processo di analisi della "scatola nera" attraverso esperimenti riproducibili.

Questo approccio è finalizzato a risolvere il problema della soggettività nell'interpretazione dell'AI. Invece di una descrizione qualitativa del funzionamento dei neuroni, si propone di utilizzare criteri matematicamente verificabili di semplicità e equivalenza funzionale. Ciò consente ai ricercatori di confrontare oggettivamente diverse ipotesi su come il modello elabora le informazioni a livello di singoli pesi e attivazioni.