RedHatAI 釋出了模型 Qwen3-8B-speculator.dflash

RedHatAI 團隊介紹了一種專門的模型-投機者 Qwen3-8B-speculator.dflash，旨在加速文本生成。該解決方案設計用於作為主要語言模型執行任務的輔助組件。

在模型訓練中，使用了數據集 Magpie、UltraChat 和 Nemotron。在準備過程中，應用了損失函數 D-PACE 和優化器 Muon，從而實現了高效的預測，而無需使用推理機制。該模型在 1 小時 內完成訓練，獲得了 12 分 的內部性能指標評分。

有效性的關鍵指標是令牌接受率（token acceptance rate），它在 HumanEval 基準測試中達到了 87.6%。使用此類投機者可以大大減少等待 LLM 響應的時間，方法是並行預測多個令牌，然後由主要模型驗證。

此版本針對實現投機性解碼方法以優化實時推理的開發人員。整合 Qwen3-8B-speculator.dflash 可以降低使用 Qwen3 架構時的延遲，同時保持與基本模型版本相似的生成精度。