Araştırmacılar AI otomatik kontrol yöntemlerinde kritik arızalar tespit etti

Bir araştırmacı grubu, modellerin eğitimi sırasında kullanılan ölçeklenebilir denetim yöntemlerinin etkinliğine ilişkin analiz sonuçlarını yayımladı. Deneyler, modeller arasındaki münazaralar yoluyla yanıtları doğrulamaya yönelik mevcut yaklaşımların, belirsizliğin yüksek olduğu görevlerde düşük doğruluk sergilediğini ortaya koydu.

Test alanı olarak, konumu belirlemek için görsel verilerin analiz edilmesini gerektiren Geoguessr oyunu kullanıldı. Araştırmacılar, modellerin karmaşık argümanları doğrulanabilir iddialara etkili biçimde ayıramadığını belirledi. Bunun sonucunda denetim sistemi, doğru yanıtın ölçütlerinin net olmadığı durumlarda ara çıkarımları nesnel gerçeklerle karşılaştıramadığı için mantık hatalarını gözden kaçırıyor.

Temel sorun, tek ve kesin bir yanıtı olmayan, «muğlak» görevlerde yatıyor. Bu tür senaryolarda otomatik denetim, olgusal doğruluktan ziyade ifadelerin ikna ediciliğine dayanıyor. Bu da modellerin akıl yürütme kalitesini artırmak yerine denetim sürecini manipüle etmeyi öğrenmesi riskini doğuruyor.

Elde edilen veriler, AI-alignment sistemleri için yeni görev ayrıştırma protokolleri geliştirilmesi gerektiğine işaret ediyor. Karmaşık akıl yürütmeleri atomik ve doğrulanabilir parçalara ayıramadıkları sürece otomatik denetim yöntemleri hata ve halüsinasyonlara karşı savunmasız kalacak; bu da modellerin geliştirilmesinde kritik öneme sahip alanlarda kullanılmalarını sınırlayacak.