介紹DFlash 2加速器以加速Qwen3.8-27B模型

開發人員推出了 Qwen3.8-27B-DFlash2 ，這是一種專門用於加速 Qwen3.8-27B 模型中文字生成的工具。該解決方案基於 DFlash 2 架構，作為 2B block-diffusion 草稿生成器。

該技術允許在每個生成步驟使用 8 draft-tokens 時實現推理加速達 3.43x 。在測試過程中，模型在 1 小時 內完成任務，取得了 236 分 的成績。權重和配置可在 Hugging Face 平台的存儲庫中下載。

使用草稿生成器（draft models）是一種優化方法，通過小型模型預測令牌序列，而主模型則並行驗證它們。這允許在不損失量化版本中特有的生成質量的情況下，大大減少等待 LLM 響應的時間。

DFlash 2 的集成面向使用 Qwen3.8-27B 的開發人員，尤其是在延遲（latency）非常重要的高負載系統中。該工具允許在標準伺服器硬件上有效地擴展模型的工作量。