研究人員提出度量以驗證機制解釋性

研究人員提出了一種新的機制解釋方法，將其定義為一種可以進行嚴格驗證的任務。主要思想是用簡化的類比替換神經網絡的個別組件，然後測量重建輸出數據的損失。

為了評估解釋的質量，作者建議使用基於模型圖中的節點和邊數以及特徵重用指標的量化指標。在工作過程中，發現了傳統方法（如張量網絡和低秩近似）不能提供足夠的精度以進行模型內部過程的完全驗證。

該方法要求任何對神經網絡結構的解釋都能夠恢復模型的原始行為，且偏差最小。如果用簡化的方案替換部分權重導致重建損失急劇增加，則解釋被視為不完整或不正確。这使得可以通過可重現的實驗正式化「黑盒」分析過程。

該方法旨在解決AI解釋的主觀性問題。與其使用質性的描述神經元的工作方式，不如使用可以通過數學驗證的簡潔性和功能等價性標準。这使得研究人員可以客觀地比較不同的假設，即模型如何在個別權重和激活的水平上處理信息。