釋出適用於在消費級硬體上運行125B模型Qwen3.8的補丁

開發人員推出了 Qwen3.8-Flash-Next-INT4-Mixed-AutoRound — 一個針對 vLLM 引擎的專用補丁，允許在有限的硬件資源上運行重型 MoE 模型。該解決方案使用混合量化方案 INT4/INT6，通過 AutoRound 方法實現。

技術實現允許在配置為 3–4 個 RTX 3090 顯示卡 的情況下部署一個具有 125 億參數 的模型。系統支持最多 262 000 個令牌 的上下文窗口。在測試過程中，解碼的性能達到了每秒 60 個令牌，而預填充的速度達到了每秒 3700 個令牌。

為了達到這些指標，使用了權重優化，該優化最小化了在轉換為低位元表示時的精度損失。使用 AutoRound 可以在數據壓縮和保持模型推理能力之間取得平衡，這對於 MoE (Mixture of Experts) 等架構至關重要。

該工具降低了本地運行大型語言模型的門檻，這些模型以前需要具有大量 VRAM 的伺服器級別的計算能力。該補丁面向使用消費級設備進行長上下文和高參數神經網路研究的研究人員和開發人員。