Hugging Face, GRPO aracılığıyla modelleri ince ayar yapma yöntemini tanıttı.

Hugging Face ekibi, kompakt dil modellerinin yapılandırılmış çıktısını optimize etmek için GRPO algoritmasının uygulama sonuçlarını yayınladı. Deney sırasında araştırmacılar, 350 milyon parametre ile bir modeli yalnızca 100 optimizasyon adımı kullanarak, belirli veri formatlarına uyumu iyileştirmek için yeniden eğitti.

GRPO (Grup Bağıntılı Politika Optimizasyonu) yöntemi, modelin bir istek için birden fazla yanıt oluşturmasına, kalitelerini değerlendirmesine ve en iyi sonuçların göreli avantajına dayanarak ağırlıkları ayarlamasına olanak tanır. Bu konkrét durumda, model JSON formatına sıkı sıkıya uyması için eğitildi, bu da AI'ı yazılım arayüzlerine entegre etmek için kritik öneme sahiptir. TRL (Transformer Takviye Öğrenimi) kütüphanesinin kullanılması, yeniden eğitme sürecindeki hesaplama maliyetlerini azaltmayı sağladı.

SONUÇLAR, nawet az sayıda iterasyon durumunda, modelin sözdizimi uyumu doğruluğunda önemli bir artış gösterdiğini ortaya koydu. LoRA adaptörlerinin GRPO ile birlikte kullanılması, modelin temel becerilerinin bozulmasını önlerken, aynı zamanda yüksek üretim hızını korumasını sağladı. 100 adımın, modelin uzun SFT eğitimi olmadan istikrarlı bir şekilde geçerli veri yapıları üretmeye başlamasına yettiği görüldü.

Bu yaklaşım, öngörülebilir bir çıktı formatı gerektiren uzmanlaşmış görevler için küçük modellerin etkili bir şekilde uyarlanmasına olanak tanır. Teknoloji, geliştiricilerin API'ler ve veritabanları ile çalışan, özel ajanlar oluştururken kaynak gereksinimlerini azaltmasına olanak tanır, burada bir karakter hatası, yanıtı daha fazla işleme için uygun hale getirir.