IBM Research 提出了 ALTK 框架來評估 AI 代理的穩定性

來自IBM Research的研究人員提出ALTK，這是一個專門用於評估AI代理人行為可重現性的框架。該工具可以找出決策鏈中隱藏的錯誤，這些錯誤會導致在不同時間執行相同任務時產生不同的結果。

ALTK的方法論著重於分析代理人的「軌跡」。系統對每個任務進行50-100次迭代，記錄最終答案和中間步驟的偏差。在標準基準測試中發現，即使是具有高平均成功率的模型，也會在重複運行中顯示出高達35%的結果變異性。

該框架包括自動比較日誌的模組，將錯誤分為「邏輯」和「工具」錯誤。工具支持流行的執行環境，允許開發人員在實時中追蹤穩定性係數（Consistency Score）。這些指標有助於了解代理人的成功是否是可靠算法的結果，或者是令牌生成中的偶然巧合。

實施此類評估系統已成為從原型到工業AI代理人的關鍵步驟。標準化可重現性指標允許開發人員更準確地調整溫度和系統提示的參數，從而最小化在業務流程中出現不可預測行為的風險，在這些流程中，執行動作序列的準確性比模型的創造力更重要。