Araştırmacılar, sinir ağı ağırlıklarını doğrudan değiştirme yöntemi sundu

MIT'den araştırmacılar, dil modellerinin diğer sinir ağlarının parametrelerini doğrudan okumasına ve değiştirmesine olanak tanıyan Weight Space Programming konseptini sundu. Deney sırasında Astra modeli, belirli görevleri çözmek için Qwen3.5-0.8B modelinin mimarisini analiz etme ve ağırlıklarını düzeltme yeteneği sergiledi.

Çalışmanın temel sonucu, hedef modelin matematiksel yeteneklerinde %500'den fazla bir iyileşme sağlanması oldu. Yaklaşımın önemli bir özelliği, klasik eğitim döngülerinin veya gradyan inişinin olmamasıdır: Astra, sinir ağının yapısındaki belirli hataları düzelterek ağırlıkları doğrudan "düzenler". Bu, model davranışının minimum hesaplama maliyetiyle dar görevlere uyarlanmasını sağlar.

Teknoloji, bir modelin diğeri için "mimar" rolünü üstlendiği kendi kendini optimize eden sistemlerin oluşturulmasının önünü açıyor. Devasa veri kümeleri üzerinde yeniden eğitmek yerine sistem, ağırlıklara noktasal olarak müdahale ediyor; bu da kompakt modellerin ayarlanmasına yönelik yaklaşımları kökten değiştirebilir. Deneyin ayrıntıları ve uygulamanın teknik detayları Hacker News'teki tartışmada mevcuttur.