È stato presentato il drafter DFlash 2 per accelerare il modello Qwen3.8-27B

I sviluppatori hanno presentato Qwen3.8-27B-DFlash2 — uno strumento specializzato per accelerare la generazione di testo nel modello Qwen3.8-27B. La soluzione si basa sull'architettura DFlash 2, che funge da 2B block-diffusion drafter.

La tecnologia consente di raggiungere un'accelerazione dell'inferenza fino a 3,43x utilizzando 8 token di bozza in ogni passaggio di generazione. Durante il test, il modello ha mostrato un risultato di 236 punti, impiegando 1 ora per completare il compito. I pesi e la configurazione sono disponibili per il download nel repository sulla piattaforma Hugging Face.

L'utilizzo di modelli di bozza (draft models) è un metodo di ottimizzazione in cui un modello più piccolo prevede una sequenza di token e il modello principale li verifica in parallelo. Ciò consente di ridurre notevolmente il tempo di attesa della risposta da parte del modello di linguaggio senza perdita di qualità nella generazione, caratteristico delle versioni quantizzate.

L'integrazione di DFlash 2 è orientata agli sviluppatori che utilizzano Qwen3.8-27B in sistemi ad alta carico, dove è critica la bassa latenza. Lo strumento consente di scalare efficacemente il lavoro con il modello su attrezzature server standard.