研究人員提出了一種通過費雪信息量來剪枝神經網路的方法

一組研究人員提出了一種新的數學方法來優化神經網路架構，基於使用參數空間中的微分幾何距離。該方法通過計算到超曲面的幾何距離來確定最佳權重以進行刪除，使用費舍爾指標。

與傳統的根據權重大小進行剪枝（magnitude pruning）不同，所提出的算法考慮了刪除參數對模型性能的實際影響。研究人員在全連接網路和Vision Transformers上測試了該方法，使用了MNIST和CIFAR-10數據集。實驗在0%至100%的參數刪除範圍內進行，使用五種不同的隨機初始化。

結果顯示，新的方法在所有測試架構中都超越了標準的剪枝方法，具有更高的準確率和馬修斯相關係數。作者還開發了一種幾何距離的近似層次結構，使得可以創建具有高效率的中間壓縮方案，在降低計算成本的同時保持高效率。

這項工作為神經網路稀疏化提供了理論基礎，之前這些過程往往依賴於啟發式方法。數學模型允許更準確地預測刪除特定神經連接時性能的劣化，這對於在資源有限的設備上部署模型至關重要。研究結果在Creative Commons BY 4.0許可下發布。