OpenAI, modellerdeki düşünce gizliliğinin nedenlerini analiz etti

OpenAI güvenlik ekibi, GPT-6 Astra dahil olmak üzere gelişmiş modellerdeki düşünce zincirlerinin (chain-of-thought) neden dış denetime daha az açık hale geldiğini açıklayan sistematik bir araştırma yürüttü. Analiz, şeffaflıktaki azalmanın teknolojinin gelişiminin kaçınılmaz bir sonucu olmadığını, doğrudan geliştiricilerin eğitim sırasındaki öncelikleriyle bağlantılı olduğunu gösterdi.

Elde edilen verilere göre, yorumlanabilirlik erozyonu dört temel eğitim aşamasından kaynaklanıyor. Mimari kararlar ve pekiştirmeli öğrenme (RL) yöntemleri ana faktörler haline geldi. Geliştiriciler, iç süreçlerin derin şeffaflığı ile sınırlı hesaplama kaynaklarıyla maksimum performans elde etme arasında seçim yaparak ödünleşimler yapmak zorunda kalıyor.

Araştırma, modellerin belirli performans göstergeleri ve hesaplama maliyetleri için mevcut optimizasyonunun, sinir ağlarının ara sonuçlarını "gizlemesine" yol açtığını vurguluyor. Karar verme mantığı araştırmacılar için daha az belirgin hale geldiğinden, bu durum güvenlik denetimleri için zorluklar yaratıyor.

Elde edilen sonuçlar, geliştiricilerin hesaplama gücü ile yapay zekanın düşünce sürecini izlenebilirliği arasında denge kurmak için mimari tasarım yaklaşımlarını gözden geçirmelerine olanak tanıyor. Uygulayıcılar için bu, modellerin şeffaflığını korumaya çalışırken genel performanslarını düşürmeyecek yeni izleme yöntemlerinin uygulanması gerektiği anlamına geliyor.