研究人員提出RETD演算法以穩定強化式學習

研究人員發表了一項工作，描述了一種新的方法，稱為 Regularized Emphatic Temporal-Difference Learning (RETD)，旨在解決在強化學習算法中使用固定步長訓練時的不穩定性問題。

標準的 Emphatic TD (ETD) 方法通常會遇到數據采樣中的正李亞普諾夫指標問題，導致過程發散。研究人員 提出了 一種一階正規化修正機制，該機制保留了權重和重要性關係，使用標量狀態的泄漏來存儲信號並進行後續的延遲修正。

在涉及 10 000 次運行 的實驗中，RETD 算法在兩個構成中展示了認證的負李亞普諾夫指標，而傳統的 ETD 方法則表現出不穩定性。該方法允許使用單一和雙重規範化讀取來恢復 ETD 的固定點，從而在和諧減少的步長下保證收斂。

提出的方法不會降低跡線的變異性，但在系統受到衝擊後顯著改變了動態。結果證實，RETD 能夠有效地處理特定任務的依賴關係，從而在離策略訓練中提供更可預測的模型行為。

這項工作為強化學習理論做出了貢獻，提出了為了在複雜環境中穩定代理學習而設計的數學基礎解決方案。原始數據和定理證明可在 CC BY-NC-ND 4.0 許可下獲得。