ISTA-DASLab kuantumlu Qwen3.8-Flash-Next sürümlerini yayımladı

Araştırma grubu ISTA-DASLab, Qwen3.8-Flash-Next-GSQ-RCO-GGUF adlı Qwen3.8-Flash-Next sinir ağı için kuantize edilmiş ağırlık kümesini sundu. Sürüm, GSQ-RCO doğrusal olmayan kuantizasyon yöntemleri kullanılarak hazırlanan optimize edilmiş model varyantlarını içerir.

Pakete Q2_0, IQ2_XS ve IQ3_XXS formatlarının kuantize edilmiş sürümleri dahil edilmiştir. Sıkıştırma düzeyi 2.4 ila 3.0 bit/parametre (bpw) aralığında değişir, bu da modelin sınırlı video belleği olan cihazlarda çalıştırılmasına olanak tanır. Ek olarak, çoklu modal özellikler için 0.91 GB boyutunda bir mmproj dosyası depoya dahil edilmiştir.

Ağırlıkların hazırlanması 2 saat sürdü ve sonuç olarak model, yerel performans testlerinde 129 puan aldı. GSQ-RCO yöntemlerinin (Gradient Tabanlı Skaler Kuantizasyon ile Sıra Kısıtlamalı Optimizasyon) kullanılması, aşırı düşük bit hızında doğruluk kaybını en aza indirmeyi amaçlamaktadır.

Verilen sürüm, Qwen serisinin yüksek performanslı modellerinin yerel olarak çalıştırılma olanaklarını genişletir. GGUF formatının kullanılması, popüler çıkarım motorlarıyla uyumluluğu sağlar ve sinir ağını tüketici ekipmanında ana mimari özelliklerini kaybetmeden dağıtmaya olanak tanır.