研究人員證實了AI模型的功能補償能力

研究人員展示了神經網路模型能夠適應內部結構的損傷，通過重新分配計算資源以保持任務的準確性。在實驗中，具有4億個參數的模型被訓練用於解決地理問題，同時研究人員強制抑制神經元激活中10個最重要的方向(J-lens方向)的活動。

結果顯示，在人工損傷關鍵向量後，模型的準確性不僅沒有下降，反而在20.9%至97.7%的範圍內增加。這種效果表明存在「功能補償」機制，即模型找到替代的數據處理途徑，繞過被阻塞的內部信號監控。這種行為表明現代架構中的內部表示具有很高的冗餘度。

這項研究證實了神經網路在喪失部分計算能力時具有自組織能力的假設。研究作者使用了特定的激活分析方法來確定模型如何在外部干預下重建其內部連接。獲得的數據使我們更好地了解了深度模型對局部故障和權重退化的魯棒性。

了解模型內部功能如何重新分配對於開發更可靠的系統至關重要。神經網路的損傷補償能力可以用於創建容錯架構，即使個別組件部分故障或在權重量化和壓縮過程中出現錯誤，也能保持其功能性。