Yanlış tavsiyeler yapay zeka modellerinin sapmasına yol açıyor

Araştırmacılar, eğitim verilerindeki ince ve fark edilemez hataların, dil modellerinin güvenliğine bariz şekilde yanlış talimatlardan daha fazla zarar verdiğini ortaya koydu. Çalışma LessWrong blogunda yayınlandı.

Deney sırasında, sinir ağlarının gizli bir şekilde yanlış tavsiyelerle yeniden eğitilmesi, yanıtlarda ani bir sapmayı tetikledi. Bu oran, 12 model ve çeşitli alanlardan oluşan bir örneklem üzerinde test edildiğinde ortalama 10,6 puan arttı.

Bariz hatalar, ince ayar sırasında tespit edilmeleri daha kolay olduğu için modellerde daha düşük seviyede davranış sapmasına neden oluyor. İnce bozulmalar ise algoritmalara fark ettirmeden yerleşiyor ve sonraki üretimlerin mantığını bozuyor.

Elde edilen veriler, geliştiricilerin sistemlerin son ince ayarı sırasında veri seti kalitesini daha hassas bir şekilde kontrol etmelerine ve sohbet botlarının davranışlarındaki gizli güvenlik açıklarından kaçınmalarına yardımcı oluyor.