È stata rilasciata la versione MLX di Qwen3.6-27B con supporto per la previsione mult token

I sviluppatori hanno presentato Qwen3.6-27B-MTPLX-Optimized — una versione specializzata del modello linguistico, adattata per funzionare su dispositivi con architettura Apple Silicon. Il rilascio è orientato all'utilizzo delle funzionalità native del framework MLX per accelerare l'inferenza.

La caratteristica chiave del modello è il supporto per la previsione multithreading (MTP) e il decoding speculativo. Durante i test, il sistema ha dimostrato una velocità di decoding fino a 2,24x più alta quando si lavora con compiti di scrittura del codice. L'utilizzo di MTP ha permesso di raggiungere tassi di accettazione dei draft più alti rispetto alle implementazioni standard basate su vLLM.

Il modello è ottimizzato per l'esecuzione locale su Mac, il che consente di utilizzare efficacemente le risorse dei core grafici della serie Apple M. Gli sviluppatori notano che l'architettura MTPLX garantisce un equilibrio tra la qualità della generazione e la latenza di risposta, che è critica per gli strumenti di sviluppo interattivi.

Questo rilascio estende le possibilità di inferenza locale dei modelli pesanti su "hardware" consumer. Il passaggio alle implementazioni native MLX consente di ridurre i costi di calcolo e aumentare la velocità complessiva dei token al secondo senza perdita di precisione, caratteristica delle versioni quantizzate.