ISTA-DASLab ha rilasciato le versioni quantizzate di Qwen3.8-Flash-Next

Il team di ricerca ISTA-DASLab ha presentato Qwen3.8-Flash-Next-GSQ-RCO-GGUF - un set di pesi quantizzati per la rete neurale Qwen3.8-Flash-Next. Il rilascio include varianti della modella ottimizzate utilizzando metodi di quantizzazione non lineare GSQ-RCO.

Il pacchetto include versioni quantizzate dei formati Q2_0, IQ2_XS e IQ3_XXS. Il livello di compressione varia da 2,4 a 3,0 bit per parametro (bpw), consentendo di eseguire il modello su dispositivi con memoria video limitata. Inoltre, nel repository è incluso un file mmproj di dimensioni 0,91 GB per supportare le funzioni multimediali.

Il processo di preparazione dei pesi ha richiesto 2 ore, al termine del quale il modello ha ottenuto un punteggio di 129 punti nei test di prestazione locali. L'utilizzo dei metodi GSQ-RCO (Gradient-based Scalar Quantization with Rank-Constrained Optimization) è finalizzato a minimizzare le perdite di precisione con un bitrate estremamente basso.

Questo rilascio estende le possibilità di esecuzione locale di modelli ad alte prestazioni della serie Qwen. L'utilizzo del formato GGUF garantisce la compatibilità con i motori di inferenza più popolari, consentendo di distribuire la rete neurale su dispositivi consumer senza perdere le caratteristiche chiave dell'architettura.