研究人員提出了一個正式的GAI基礎供自我學習代理使用

研究人員發表了有關 Generalized Agent Iteration (GAI) 的工作，提出了一種統一的數學結構來描述迭代改進政策和遞歸自我學習（RSI）。作者旨在將經典的學習方法與自主智慧發展的概念在一個範式中統一起來。

GAI 的基礎是一個將代理視為可修改組件的配置的模型，其中學習過程被表示為一個循環的評估和優化算法。系統使用兩個關鍵參數：改進機制的位置（在代理內或外）和是否存在外部坐標系統來評估結果。這些變數允許根據其極性對系統進行分類：從嚴格定義的目標到完全自我參考的結構。

提出的方法允許正式化經典迭代改進政策（GPI）和遞歸自我完善之間的差異。作者使用 GAI 來系統化現有的架構，這使得可以根據個別條件識別自我學習過程中的缺陷。這允許在單一坐標系中比較異構系統。

工作的目的是為未來的自主代理的分析和設計創建一個基本基礎。正式化代理自我修改的條件有助於避免「目標漂移」問題，並確保系統在長期的可預測行為。研究以 CC BY-NC-ND 4.0 許可證發表。