Araştırmacılar LLM'de bileşik düşünce öğreniminde asimetrinin olduğunu belirledi

Araştırmacılar grubu, pekiştirme öğrenimi (RL) kullanarak dil modellerindeki bileşik düşünceyi inceleyen yeni bir çalışma sundu. Yazarlar, modellerin karmaşık görevleri çözmek için öğrendikleri becerileri nasıl birleştirdiklerini analiz etti ve öğrenme sürecinde temel bir asimetrinin olduğunu keşfetti.

Araştırmada, bileşik düşünceyi üç karmaşıklık seviyesinde formalize eden bir bağımlılık grafları çerçevesi önerildi. Deneyler, ödül hesaplamasını sağlayan veri yapıları ile gerçekleştirildi. Bilim adamları, dekompoze edilmiş becerilere dayalı öğrenimin bileşik görevlerin başarılı bir şekilde gerçekleştirilmesini garanti etmediğini, ancak bileşik görevlere dayalı öğrenimin modelin basit bileşenlerle daha etkili bir şekilde başa çıkmasını sağladığını belirledi.

"Dekompoze edilmişten bileşike asimetrisi" olarak adlandırılan bu etki, uzunluk ekstrapolasyonu, yapısal dağılım değişiklikleri ve daha önce karşılaşılmayan görevlere beceri aktarımı koşullarında doğrulandı. Yazarlar ayrıca, AI'nin pratik uygulama senaryolarında tespit edilen kalıbın korunduğunu doğrulayan dış araç çağırma challenge'leri için benchmark'larda bir pilot çalışma gerçekleştirdi.

Çalışmanın sonuçları, genellikle ayrı ayrı becerilere odaklanan mevcut son öğrenme yöntemlerinin sınırlarını vurgulamaktadır. Bu asimetrinin anlaşılması, geliştiricilerin modellerin genelleme ve mantıksal tutarlılık gerektiren çok aşamalı görevleri çözme yeteneğini iyileştirmek için öğrenme stratejilerini ayarlamalarına olanak tanır. Araştırma, Non-exclusive distribution lisansı altında yayınlandı.