Araştırmacılar, LLM yanıtlarını doğrulama yoluyla geliştirmek için VRR yöntemini sundular

Araştırmacılar, modellere yalnızca önerilen en iyi yanıtı seçmek yerine aktif olarak geliştirmelerine olanak tanıyan LLM-as-an-Improver yöntemini tanımlayan bir çalışma yayınladılar. Yeni yaklaşım, Verify--Repair--Reselect (VRR) adını aldı ve çıktı sürecinde daha doğru alternatifler oluşturmak için doğrulayıcıdan geri bildirim kullanır.

Standart yöntemlerin aksine, burada doğrulama sabit bir aday kümesinin sıralamasıyla sınırlı değildir, VRR en umut verici seçeneği korur ve üç ek çözüm oluşturur. Algoritma, mevcut liderdeki ve ikinci en iyi yanıttaki hataları düzeltmeyi ve temelde yeni bir yaklaşım oluşturmayı içerir. Sistem, yalnızca çıkarım sırasında mevcut olan verileri kullanarak geçersiz ve tekrarlanan seçenekleri otomatik olarak filtreler.

Çeşitli kod yazma ve mantıksal düşünme benchmarkları üzerinde test edilmesi, yöntemin geleneksel stratejileri aştığını gösterdi. VRR, tüm ilk olarak oluşturulan seçeneklerin hatalı olduğu durumlarda bile doğru yanıtları geri yükleyebilir. Bu, modellerin genel güvenilirliğini artırmayı sağlar ve bu, ağırlıkların kendisinin değiştirilmesine veya yeniden eğitilmesine gerek kalmadan yapılır.

Çalışmanın sonuçları, doğrulayıcı geri bildiriminin yalnızca mevcut adayları filtrelemek için değil, daha güçlü adaylar oluşturmak için bir araç olarak hizmet edebileceğini vurgulamaktadır. Çalışma, Creative Commons Attribution 4.0 lisansı altında yayımlandı, bu da önerilen algoritmaların LLM'nin doğruluğunu artırmak için üçüncü taraf geliştirmelerde kullanılmasına olanak tanır.