Çıkış yapılmış kuantalamış Qwen3.8-27B modelinin sürümü

Geliştiriciler, Qwen3.8-27B-GGUF adlı, tüketici ekipmanlarında yerel olarak çalışmak için uyarlanmış, dil modelinin optimize edilmiş bir sürümünü sundu. Sürüm, sınırlı donanım kaynaklarıyla birlikte çalışırken önemli bir doğruluk kaybı olmadan modeli kullanmayı sağlayan kuantize ağırlıkları içerir.

Model, dahili testlerde 85 puan gibi bir sonuç gösterir ve bu oranı 1 saatlik veri işleme ile ulaşır. GGUF formatı, llama.cpp, vLLM ve Ollama gibi popüler çalışma ortamları ile uyumluluğu sağlar. Kuantizasyonun kullanılması, 27 milyar modelin, FP16 formatındaki tam boyutlu sürümünü çalıştırmak için gereken video belleği miktarından daha az video belleği olan sistemlerde çalıştırılmasını sağlar.

Araç seti, Pi veya Hermes gibi uygulamalara yerel AI çözümleri entegre eden geliştiricilere yöneliktir. GGUF formatının desteği, modelin mevcut yerel çıkarım işlem hatlarına entegrasyonunu basitleştirir ve standart GPU ve CPU'larda yüksek token oluşturma hızını sağlar.

Verilen sürüm, Qwen mimarisini gizli verilerle çalışan şirketler ve meraklılar için daha erişilebilir hale getirir. Yerel dağıtım olanağı, dış sunuculara isteklerin iletilmesi ihtiyacını ortadan kaldırır, bu da bilgi güvenliği gereksinimlerinin yüksek olduğu görevler için kritiktir.