ByteDance ve Tsinghua Üniversitesi DAPO eğitim sistemini sundu

ByteDance Seed ve Tsinghua Üniversitesi (AIR) ekipleri, açık kaynaklı bir pekiştirmeli öğrenme sistemi olan DAPO'yu yayımladı. Proje, modellerin eğitim politikasını optimize etmeye odaklanıyor ve matematiksel akıl yürütme görevlerinde yüksek verimlilik sergiliyor.

Testlerde sistem, temel model olarak Qwen2.5-32B kullanıldığında AIME 2024 kıyaslama testinde %50 sonuç elde etti. Uygulamanın öne çıkan teknik özellikleri arasında, eğitim sırasında model ağırlıklarının daha kararlı biçimde güncellenmesini sağlayan decoupled clip (ayrıştırılmış kırpma) ve dynamic sampling (dinamik örnekleme) mekanizmaları yer alıyor.

Proje deposunda, sonuçları yeniden üretmek ve sistemi kendi eğitim iş akışlarına entegre etmek için gereken kaynak kodu bulunuyor. Geliştiriciler, karmaşık matematik problemleri üzerinde çalışan modeller için kritik öneme sahip olan yüksek akıl yürütme doğruluğunu korurken hesaplama maliyetlerini düşürmeye odaklandı.

DAPO'nun kullanıma alınması, araştırmacıların standart PPO yöntemlerine kıyasla daha esnek optimizasyon stratejileri uygulamasını sağlıyor. Dinamik örnekleme kullanımı, hedeflenen doğruluk düzeylerine ulaşmak için gereken yineleme sayısını azaltarak sistemi, LLM'leri uzmanlık alanlarında ince ayar yapmak için umut vadeden bir araca dönüştürüyor.