Geliştirici 8 GB VRAM ile eğitilen Mini-AGI'yi sundu

Geliştirici, Mini-AGI adlı deneysel modeli sundu - sürekli öğrenme mimarisiyle donatılmış ve 8 GB VRAM ile tüketici ekipmanında çalışabilen bir model. Proje, bayt düzeyinde veri işleme ve sınırlı video belleği ile kaynak optimizasyonu üzerine odaklanmıştır.

Sistemin ana özelliği, diskten ağırlık çekme mekanizmasıdır, bu da hesaplama işlemleri sırasında donanım kısıtlamalarını aşmayı sağlar. Model, adaptif derinlik ve uzman yönlendirme (MoE) sistemi kullanır ve eğitim过程inde hesaplamaların dinamik olarak dağıtılmasını sağlar.

Şu anda proje, ön sıradaki modellere rakip olarak değil, araştırma deneyimi olarak konumlandırılmıştır. Kaynak kodu açık bir depoda mevcuttur ve burada ayrıca mimari kararlar ve yerel olarak çalıştırılan sinir ağları için bellek optimizasyonu yöntemleri tartışılır.

Mini-AGI'nin teknik uygulaması, erişilebilir donanım üzerinde karmaşık öğrenme algoritmalarının uygulanabilirliğini göstermektedir. Uygulamanın ayrıntıları ve modelin mevcut performans göstergeleri, Hacker News üzerindeki uzman topluluğunda tartışılmaktadır.

Benzer çözümlerin geliştirilmesi, önceden sunucu güçlerine ihtiyaç duyan sinir ağlarını eğitmek için giriş eşiğini düşürmeye olanak tanır. Ağırlık çekme ve adaptif katmanların kullanılması, daha kompakt ve etkili sistemlerin oluşturulmasına, gerçek zamanlı olarak yeniden eğitilebilmelerine ve altyapıya önemli maliyetler olmadan yol açar.