Geliştiriciler kompakt MoE modeli Edge0-35B-A3B-preview'i sundu

Geliştirici ekibi, 35 milyar parametreye sahip Mixture-of-Experts mimari yeni bir dil modeli olan Edge0-35B-A3B-preview'yi yayınladı. Proje, yayımlandıktan sadece 44 saat sonra Hugging Face platformunda 1200'den fazla yıldızı topladı.

Modelin ana özelliği, sınırlı kaynaklara sahip cihazlarda çalışmak için optimize edilmesi. Sistem, 3 GB'den weniger aktif bellek tüketir, bu da onu tüketici ekipmanında çalıştırmasına olanak tanır. edge0 çerçevesi kullanıldığında, model yaklaşık 15 token/saniye hızında yanıt üretir.

Test sırasında geliştiriciler, tam boyutlu benzerlerine kıyasla 3.9 puan yanıt kalitesi kaybı kaydetti. Bu performans, hesaplama yükünü minimize ederken modelin mantıksal yeteneklerini korurken uzmanların özel bir yapılandırması sayesinde elde edilir.

Sürüm, düşük VRAM tüketimi ve yüksek yanıt hızının kritik olduğu yerel kullanım senaryolarına yöneliktir. Model, mevcut çıkarım işlem hatlarına entegrasyon için talimatların da sunulduğu proje deposundan indirilebilir.