研究人員提出RBS-Attention方法來加速LLM的預訓練

研究團隊開發了 RBS-Attention，這是一種稀疏預填充方法，旨在解決大型語言模型處理長上下文時的「平均值模糊」問題。這項技術採用雙分支區塊選擇系統：基礎分支負責判斷平均相關性，「救援」分支則找出可能被標準稀疏注意力方法錯誤忽略的 token。

此方法不需額外訓練，並與 FlashAttention 機制相容。在 H100 GPU 上，以 Qwen3-30B-A3B-Instruct-2507-FP8 模型處理 128K 上下文的測試中，該方案的獨立預填充速度提升了 20.65 倍，使用 vLLM 引擎時則提升了 11.92 倍。首個 token 生成時間（TTFT）縮短至原本的 1/5.97。

採用 RBS-Attention 後，模型準確度仍與密集注意力相當。在 RULER 基準測試中，Qwen3-32B 模型的得分為 88.65，標準架構則為 89.52。此外，研究也使用 LongBench-v2、InfiniteBench 和 Video-MME 資料集進一步評估品質。

採用稀疏注意力可大幅降低提示詞處理階段的運算成本，而這個階段正是處理長文件時的「瓶頸」。新方法可根據層、注意力頭及提示詞本身的結構，動態調整區塊選擇，因此能有效支援具備長上下文能力的模型在正式環境中部署。