Araştırmacılar LLM mantığını kontrol etmek için Metacognitive Steering yöntemini sundu

Araştırmacılar, sinir ağlarının akıl yürütme stratejisini üretim sırasında dinamik olarak değiştirmeyi sağlayan Metacognitive Steering yöntemini geliştirdi. Teknoloji, araştırma, uygulama ve eleştirel değerlendirme modları arasında geçiş yaparak otonom ajanların yürüttüğü bilimsel araştırmaların kalitesini artırmayı hedefliyor.

Yöntemin temelinde, bir trilyondan fazla parametreye sahip mixture-of-experts mimarili bir sistem olan Kimi 2.6 modelinin iç durumlarının analizi yer alıyor. Yazarlar, tekil değer ayrıştırma ve dikkat ağırlıklarının analizi yöntemlerini kullanarak sinir ağının orta katmanlarında bulunan düşük boyutlu bir kontrol yapısını belirledi. Kontrolcü, modelin mevcut bilişsel modunu tespit ediyor ve yeniden eğitim ya da ağırlıkların değiştirilmesi gerekmeksizin belirli katmanlara müdahale uyguluyor.

Yaklaşımın etkinliği Columbus-1 sistemi üzerinde gösterildi. Ajan, BlueZ yığınındaki bağımsız olarak doğrulanmış sekiz güvenlik açığını başarıyla tespit etti. Ayrıca katı yakıtlı motorlarla çalışan bir iniş sistemine sahip üç metrelik bir roket tasarlayıp üretime hazır hâle getirdi. Yöntem, hipotezlerin daha derinlemesine incelenmesini sağlıyor ve ajanın karmaşık mühendislik problemlerini çözerken umut vadetmeyen seçenekleri kendi kendine elemesine olanak tanıyor.

Bu çalışma, modellerin davranışını yönetme yaklaşımını basit istemlerden hesaplama süreçlerine doğrudan müdahaleye taşıyor. Böylece Metacognitive Steering, gerçek zamanlı öz denetim ve veri analizi yapabilen, daha güvenilir otonom sistemlerin geliştirilmesinde kullanılabiliyor.