Araştırmacılar pekiştirme öğreniminin stabilizasyonu için RETD algoritmasını sundu

Araştırmacılar, pekiştirme algoritmalarında sabit öğrenme adımlarının kullanımı sırasında istikrarsızlık sorunlarını gidermek amacıyla Düzenlenmiş Vurgulu Zamansal Fark Öğrenmesi (RETD) adlı yeni bir yöntem tanımlayan bir çalışma yayınladılar.

Standart Emphatic TD (ETD) yaklaşımı genellikle veri örneklemesi sırasında pozitif Lyapunov katsayıları sorununa karşılaşır, bu da sürecin diverjansına neden olur. Araştırma yazarları, ağırlıkları ve önemlilik oranlarını koruyan normalize bir ilk düzenleme mekanizması önerdiler, bu mekanizma sinyali depolamak ve sonraki ertelenmiş düzeltme için skaler durum sızıntısını kullanır.

10 000 çalıştırma içeren deneylerde, RETD algoritması, klasik ETD'nin istikrarsızlık gösterdiği iki bileşenli yapılarda sertifikalı negatif katsayılar sergiledi. Yöntem, tek ve iki düzenleme okumaları kullanarak ETD'nin sabit noktasını geri yüklemeye izin verir, harmonik olarak azalan adımlarda yakınsaklığı sağlar.

Önerilen yaklaşım iz dispersiyonunu azaltmaz, ancak şok durumlarından sonra sistemin dinamiğini önemli ölçüde değiştirir. Sonuçlar, RETD'nin görev bağımlılığı ile etkili bir şekilde başa çıktığını ve off-policy öğrenme koşullarında modelin daha öngörülebilir bir davranışını sağladığını doğrular.

Çalışma, öğrenme adımlarının istikrarsızlığını gidermek için matematiksel olarak temellendirilmiş bir çözüm önererek pekiştirme öğrenimi teorisine katkıda bulunur. Kaynak veriler ve teoremlerin kanıtları CC BY-NC-ND 4.0 lisansı altında mevcuttur.