Araştırmacılar bireysel tercihleri dikkate alan modelleri eğitim yöntemini sundu

Bilimsel araştırmacılar, evrensel bir fayda fonksiyonu kullanmak yerine, insan tercihlerindeki heterojenliği dikkate alan modelleri eğitim için yeni bir yaklaşım sundular. arXiv'de yayınlanan makalede, karar alma bağlamına bağlı bireyselleştirilmiş fayda fonksiyonlarını değerlendirmek için bir mimari önerildi.

Çalışma kapsamında, 575 000'den fazla çift estetik değerlendirme içeren büyük bir veri kümesi toplandı. Deneyde 2 398 kişi katıldı ve otomobil jantlarının tasarımını değerlendirdi. Bireyselleştirilmiş modellerin kullanılması, temel foundation-modelleri dahil olmak üzere standart evrensel fayda modellerinin performansını önemli ölçüde aşmayı sağladı.

Yazarlar, kullanıcılar arasındaki değerlendirme farklılıklarının veri中的 "gürültü" değil, tercihlerdeki önemli heterojenliğin bir yansıması olduğunu kanıtladılar. Önerilen çok aşamalı mimari, modelin hangi tercihleri temsil ettiğini açıkça dikkate almasını sağlar, bu da subjektif alanlardaki tahminlerin doğruluğunu artırır.

Araştırma sonuçları, daha doğru ödül modelleri eğitimi için annotatör özniteliklerinin toplanmasının gerekliliğini vurgulamaktadır. Bu yaklaşım, insan seçimindeki çeşitliliği daha doğru bir şekilde yansıtan sistemlerin oluşturulmasına olanak tanır, bu da gelecekteki kişiselleştirilmiş AI araçlarının geliştirilmesi için kritik öneme sahiptir.

Araştırma materyalleri Creative Commons BY-NC-ND 4.0 lisansı altında mevcuttur. Bu çalışma, RLHF veri işleme yaklaşımını değiştirerek, odak noktasını ortalama değerlerden kullanıcıların bireysel profillerini modellemeye çevirir.