È stata rilasciata il modello quantizzato Qwen3.8-Flash-Next per lavorare su Mac

I sviluppatori hanno presentato Qwen3.8-Flash-Next-MLX-Serve-iQ-MLX-3.3bpw — una versione specializzata del modello linguistico, ottimizzato per l'esecuzione su dispositivi Apple con architettura Apple Silicon. Il rilascio è orientato agli utenti che possiedono sistemi con 64 GB di memoria operativa.

La caratteristica chiave di questa build è la quantizzazione a 3.3 bit per peso (bpw). Con questi parametri, il modello dimostra un 85,6% di accuratezza top-1 nei test di precisione. L'utilizzo di questa versione richiede 52 GB di memoria residente, il che consente di utilizzare efficacemente le risorse hardware dei Mac per calcoli locali.

L'architettura supporta il lavoro con una finestra di contesto di fino a 64 mila token. Durante i test, il modello ha mostrato un risultato di 8 punti sulla scala di valutazione interna delle prestazioni, raggiungendo questo livello in 2 ore di elaborazione dei dati.

L'strumentazione si basa sul framework MLX, che fornisce un supporto nativo per l'accelerazione sui chip Apple M-series. Ciò consente di eseguire LLM pesanti senza la necessità di utilizzare GPU cloud, mantenendo al tempo stesso un'elevata precisione di generazione.

Questo rilascio estende le possibilità di esecuzione locale di modelli di grandi dimensioni per gli sviluppatori e i ricercatori che lavorano nell'ecosistema macOS. L'ottimizzazione dei pesi a 3,3 bit consente di collocare il modello nella memoria dei dispositivi con 64 GB di RAM, garantendo un equilibrio tra il consumo di risorse e la qualità delle risposte.