MLX sürümü Qwen3.6-27B çok tokenli tahmin desteği ile yayınlandı

Geliştiriciler, Qwen3.6-27B-MTPLX-Optimized adlı dil modelinin özel bir sürümünü sundu - Apple Silicon mimarisine sahip cihazlarda çalışmak için uyarlanmış bir dil modeli. Sürüm, çıkarım hızlandırmak için MLX çerçevesinin yerli özelliklerini kullanmaya yöneliktir.

Modelin ana özelliği, yerli çok tokenli tahmin (MTP) ve spekülatif kod çözme desteğidir. Testler sırasında sistem, kod yazma görevleriyle çalışırken 2.24x daha yüksek bir kod çözme hızı gösterdi. MTP kullanımı, vLLM tabanlı standart uygulamalara kıyasla daha yüksek taslak kabul oranlarına ulaşılmasını sağladı.

Model, Mac'te yerel olarak çalışmak için optimize edilmiştir, bu da Apple M serisi grafik çekirdeklerinin kaynaklarını etkili bir şekilde kullanmayı sağlar. Geliştiriciler, MTPLX mimarisinin, etkileşimli geliştirme araçları için kritik olan生成 kalitesi ve yanıt gecikmesi arasında bir denge sağladığını belirtiyorlar.

Verilen sürüm, ağır modellerin yerel çıkarım olanaklarını tüketici "donanımında" genişletiyor. Yerel MLX uygulamalarına geçmek, hesaplamaların ek yükünü azaltmaya ve tokenlerin saniyedeki genel bant genişliğini, kuantize edilmiş sürümler için karakteristik olan doğruluk kaybı olmadan artırmaya olanak tanır.