Hugging Face çizim modellerinin kod aracılığıyla eğitilmesine yönelik bir yöntem sundu

Hugging Face ekibi, programlama kodları kullanarak dil modellerinin sualeyi resim oluşturma yöntemini yayınladı. Süreç, TRL (Transformer Reinforcement Learning) kütüphanesinin ve grafik motorlarıyla etkileşime izin veren OpenEnv ortamının kullanımına dayanmaktadır.

Yaklaşımın temelinde, çizim komutlarının modelin sanal fırça ile kontrol etmek için ürettiği token dizilerine dönüştürülmesi yatmaktadır. Sistem, üretilen görüntünün belirli bir referansla görsel olarak eşleşmesi hedef fonksiyonu ile PPO (Proximal Policy Optimization) kullanır ve ödül temelinde modeli yeniden eğitir. Deneylerde, model 5000 benzersiz fırça darbesi ve renk paletinden oluşan bir veri kümesiyle eğitilmiştir.

Teknik uygulama, modelin gerçek zamanlı geri bildirim almasını sağlayan OpenEnv'in tuval simülasyonu için entegrasyonunu içerir. TRL kullanımı, koordinat seçimi, fırça basıncı ve pigment şeffafiyeti gibi ayrıntılarla çalışırken eğitim sürecinin stabilitesini sağlar. Eğitim, 8 GPU NVIDIA A100 kullanan bir küme üzerinde yapılmıştır ve bu, algoritmanın 12 saat içinde yakınsaklığını sağlamıştır.

Belirtilen yöntem, difüzyon süreçlerini kullanmadan metin modelleri aracılığıyla görsel içeriği kontrol etme olanağını göstermektedir. Geliştiriciler, bu yaklaşımın her bir öğenin belirli bir programlama talimatının sonucu olduğu yorumlanabilir görüntüler oluşturmayı mümkün kıldığını belirtiyorlar. Araç seti, mevcut pekiştirme öğrenimi eğitim palyalarında entegrasyon için kullanılabilir.