È stato rilasciato un patch per l'avvio del modello Qwen3.8 da 125B su hardware consumer

I sviluppatori hanno presentato Qwen3.8-Flash-Next-INT4-Mixed-AutoRound — un patch specializzato per il motore vLLM, che consente di eseguire modelli MoE pesanti su risorse hardware limitate. La soluzione utilizza uno schema di quantizzazione misto INT4/INT6, implementato attraverso il metodo AutoRound.

L'implementazione tecnica consente di distribuire un modello con 125 miliardi di parametri su una configurazione di 3-4 schede grafiche RTX 3090. Il sistema supporta il lavoro con una finestra di contesto di fino a 262 000 token. Durante i test, le prestazioni di decodifica hanno raggiunto 60 token al secondo, mentre la velocità di prefill è stata di 3700 token al secondo.

Per raggiungere tali risultati, viene utilizzata l'ottimizzazione dei pesi, che minimizza la perdita di precisione durante il passaggio alla rappresentazione a basso bit. L'utilizzo di AutoRound garantisce un equilibrio tra la compressione dei dati e la conservazione della capacità del modello di ragionamento, che è critica per le architetture di tipo MoE (Mixture of Experts).

Questo strumento riduce la soglia di ingresso per l'esecuzione locale di modelli linguistici di grandi dimensioni, che richiedevano in precedenza potenze di server con una grande quantità di VRAM. Il patch è orientato verso ricercatori e sviluppatori che utilizzano attrezzature consumer per lavorare con contesti lunghi e reti neurali ad alto parametro.