Araştırmacılar SFT'nin LLM yanıt çeşitliliği üzerindeki etkisini kanıtladılar

Araştırmacılar, büyük dil modellerindeki yanıt çeşitliliğinin kaybının nedenlerini analiz ettiği Fine-Tuning Fixes Mode Collapse and Over-Dispersion in LLMs çalışmasını yayınladı. Yazarlar, modellerin "mod çökmesi" veya aşırı dispersiyona eğilimlerinin, doğrudan fine-tuning için veri kalitesi ve hacmine bağlı olduğunu belirledi.

Deneysel olarak bilim adamları üç model türünü kullandı: sentetik dillerde küçük transformatörler, anket sonuçlarına dayalı olarak fine-tuning yapılmış dört LLM ve aynı modeller CodeNet veri setine göre ayarlandı. Sonuçların değerlendirilmesi için aynı promt'lara verilen yanıtların eşleşme olasılığı metriği kullanıldı. Yeterli miktarda SFT (gözetimli fine-tuning) verisi olduğunda, modelin yanıt çeşitliliği hedef dağılımın göstergelerine yaklaştığı tespit edildi.

Teorik analiz, çeşitlilikteki mutlak açıklığın Kullback-Leibler divirjansı (KL divergence) arasındaki model ve hedef dağılımın kareköküyle sınırlı olduğunu gösterdi. Bu, kros-entropi açısından optimal duruma yakın bir modelin, rastgele olarak bozulmuş bir çeşitlilik gösteremeyeceğini意味 ediyor.

Yazarların matematiksel modeli, SFT'nin tek-tiplilik veya kaotiklik yönünde yerleşik bir eğilim olmadığını kanıtlıyor. Üretimdeki hatalar, eğitimdeki örneklerin sınırlı olması nedeniyle ortaya çıkıyor. Hedef veri hacminin artırılması, modelin kalibrasyonunu etkili bir şekilde ayarlamasına, böylece insan veya belirlenmiş referans yanıtlarına yaklaşıyor.

Araştırma sonuçları, modeller için yeni bir teşhis aracı sağlıyor. Şimdi geliştiriciler, önerilen formülü kullanarak, mevcut fine-tuning sürecinin çeşitlilik bozulmasına ne kadar katkıda bulunduğunu değerlendirebiliyor ve istikrarlı sonuçlar elde etmek için gerekli veri hacmini belirleyebiliyor.