Ricercatori hanno proposto un metodo di potatura delle reti neurali attraverso la metrica di Fisher

Un gruppo di ricercatori ha presentato un nuovo approccio matematico all'ottimizzazione delle architetture neurali, basato sull'utilizzo della distanza differenziale-geometrica nello spazio dei parametri del modello. Il metodo determina i pesi ottimali per la rimozione, calcolando la distanza geodetica fino all'iper-superficie dove il valore del parametro è zero, utilizzando la metrica di Fisher.

In contrasto con il pruning tradizionale in base alla grandezza dei pesi, l'algoritmo proposto tiene conto dell'effetto reale della rimozione di un parametro sulle prestazioni del modello. I ricercatori hanno testato il metodo su reti completamente connesse e Vision Transformers, utilizzando i set di dati MNIST e CIFAR-10. Gli esperimenti sono stati condotti su tutto il range di rimozione dei parametri dal 0% al 100% utilizzando cinque diverse inizializzazioni casuali.

I risultati hanno mostrato che il nuovo approccio supera i metodi standard di pruning in termini di precisione e coefficiente di correlazione di Matthews in tutte le architetture testate. Gli autori hanno anche sviluppato una gerarchia di approssimazioni della distanza geodetica, che consente di creare schemi di compressione intermedi che mantengono un'elevata efficienza a costi computazionali ridotti.

Questo lavoro fornisce una base teorica per i processi di rarefazione delle reti neurali, che in precedenza spesso si basavano su metodi euristici. Il modello matematico consente di prevedere più precisamente il degrado delle prestazioni quando vengono rimosse specifiche connessioni neurali, il che è fondamentale per il deploy di modelli su dispositivi con risorse limitate. La ricerca è stata pubblicata sotto licenza Creative Commons BY 4.0.