Çantalanmış Qwen3.8-27B modeli MTP optimizasyonu ile yayınlandı

Geliştiriciler, yerel çalıştırma için optimize edilmiş GGUF formatındaki Qwen3.8-27B-abliterated modelini tanıttı. AEON-7 mimarisini temel alan modelde Ridge esintili karma kuantizasyon yöntemi kullanılıyor; bu sayede modelin ağırlıkları 12 GB video belleğine sığdırılabiliyor.

Derlemenin teknik özellikleri arasında 3.69 bpw sıkıştırma oranı bulunuyor. RTX 5060 Ti ekran kartında yapılan testlerde model, saniyede yaklaşık 37 token üretim hızı sergiliyor. Araç seti, llama.cpp motoruyla çalışacak şekilde uyarlanarak tüketici sınıfı GPU’ların çoğuyla uyumluluk sağlıyor.

Şirket içi testlerde model, bir saatlik çalıştırma sonucunda 106 puan aldı. MTP (Mixed-quantization Tensor Packing) yapısı, VRAM gereksinimini önemli ölçüde azaltırken doğruluk kaybını en aza indiriyor ve yerel makinelerde yüksek çıkarım hızını koruyor.

Bu sürüm, 27 milyar parametreli büyük modelleri orta sınıf donanımlarda çalıştırmak isteyen kullanıcılara yönelik. Ağırlıkların 12 GB’a optimize edilmesi, modeli bulut kaynaklarına ihtiyaç duymadan, belleği sınırlı sistemlerde kullanılabilir hâle getiriyor.