Araştırmacılar "düşünce çakılları" modelleri arasında toleranssızlığı belirlediler

Araştırmacılar düşünce çapağı (thought anchors) hiệu quảliğini çeşitli dil modelleri arasında zincirleme düşünme (Chain-of-Thought) sürecinde analiz etti. Deneyler, bir modelin vurguladığı kritik mantıksal adımların başka bir modelin performansını iyileştirmediğini gösterdi.

Test sırasında, aynı promt'ları kullanırken bile, belirli bir mimarinin doğru cevaba ulaşmasına yardımcı olan mantıksal düğümler, onun ağırlıklarına özgü kaldı. Modeller, cevap seçeneklerine ilişkin doğrudan ipuçları içermedikçe, başkalarının "çapağı" hiệu etkili bir şekilde yorumlayamadı.

Araştırma sonuçları, gizli ipuçlarının yalnızca düşüncelerin izinde belirli seçenekler açıkça tartışılıyorsa sistemler arasında iletilebileceğini gösteriyor. Diğer durumlarda, dışarıdan "çapa" eklemeye çalışmak, doğruluğun azalmasına veya bağlamın göz ardı edilmesine neden oluyor.

Bu sonuçlar, farklı modeller arasında mantıksal zincirlerin otomatik olarak aktarılma yöntemlerini sorguluyor. Evrensel "çapa" yerine, araştırmacılar her modelin mimari özelliklerine uygun üretim algoritmalarını uyarlamayı öneriyor.

Bu araştırma, AI sistemlerinin yorumlanabilirlik sınırlarını netleştirmektedir. Mantıksal yapıların evrensel olmadığını anlamak, geliştiricilerin karmaşık çok adımlı görevlerde cevapların güvenilirliğini artırmak için Chain-of-Thought süreçlerini daha doğru bir şekilde ayarlamalarına yardımcı oluyor.