ByteShape kuantalanmış Qwen 3.8 27B modelinin sürümlerini yayımladı

Şirket ByteShape dil modeli Qwen 3.8 27B'nin kuantize GGUF sürümleri serisini sundu. Sürüm, sınırlı donanım kaynaklarında yüksek doğrulukla nesne oluşturma işlemini optimize etmeye yöneliktir.

Temel konfigürasyon GPU-5 (IQ4_XS) 13.1 GB VRAM gerektirir ve 90.4 token/saniye seviyesinde performans gösterir. İç testlere göre, bu sürümün cevap kalitesi orijinal modelin BF16 formatındaki 99.63%'üne ulaşır. Ağırlık eğitimi ve kalibrasyonu 9 saat sürer ve model 71 puan alır.

Hafıza kısıtlamaları daha da katı olan sistemler için GPU-4 sürümü mevcuttur. 11.0 GB VRAM tüketir ve parametrelerin daha agresif sıkıştırılması sayesinde artan hızda çıkarım sağlar. Her iki sürüm de GGUF formatı standart araçları aracılığıyla yerel olarak dağıtıma hazırdır.

Teknik ayrıntılar ve topluluk test sonuçları Hacker News platformunda tartışılmaktadır. Kuantizasyon, 27B sınıfı modellerin orta segment tüketici ekran kartlarında çalıştırılmasına olanak tanır, bu da ağır LLM'lerin yerel kullanımına giriş eşiklerini düşürür.