Araştırmacılar, etik eğitim yöntemlerini Qwen modellerine uyarladı

Bir grup araştırmacı, Anthropic tarafından geliştirilen Teaching Claude Why yöntemini, Qwen 2.5 model ailesi için başarıyla uyguladı. Deneyin amacı, sinir ağlarının ince ayar süreçlerini değiştirerek istenmeyen veya "ajan" benzeri davranış sergileme olasılığını azaltmaktı.

Çalışma sırasında iki yöntem karşılaştırıldı: etik tavsiyeler içeren transkriptlerle eğitim (SFT) ve kurgusal hikayelerle eğitim (SDF). Sonuçlar, SFT yaklaşımının modelin öngörülemez davranış risklerini en aza indirme konusunda önemli ölçüde daha etkili olduğunu gösterdi. Bu süreçte başarının kritik faktörü, eğitim veri setinin oluşturulmasında temel alınan "öğretmen" modelin seçimi oldu.

Araştırma, ince ayar için kullanılan verilerin kalitesinin ve niteliğinin, modelin "etik pusulasını" oluşturmada belirleyici bir rol oynadığını doğrulamaktadır. Belirli kararlar için net argümanlar içeren özel veri setlerinin kullanılması, Qwen 2.5 davranışının, ahlaki alt metinlere sahip kurgusal metinler kullanmaktan daha iyi kontrol edilmesini sağlamaktadır.

Elde edilen veriler, geliştiricilere açık kaynaklı modellerin güvenliğini artırmak için somut bir algoritma sunmaktadır. Artık Qwen ile çalışan ekipler, eğitim örneklerini oluşturmak için en uygun öğretmen modeli seçerek bu yöntemi kendi sistemlerini yapılandırmak için kullanabilir; bu da ajan davranışlarında tehlikeli kalıpların ortaya çıkma olasılığını azaltır.