Amazon 推出混合模型 Mamba2-primed-HQwen3-8B-Instruct

Amazon 公司發佈了 Mamba2-primed-HQwen3-8B-Instruct — 一種混合語言模型，結合了 Attention 和 Mamba-2 的架構，以 1:1 的比例結合。該版本旨在優化性能同時保持高質量的文本生成。

該模型基於 Qwen3-8B，採用 50/50 的架構方法，其中一半的層使用傳統的注意力機制，另一半使用 Mamba-2 的空間狀態塊。這種結合使得推理速度比基礎版本快 2 倍，在處理最多 128K 個 token 的上下文窗口時。

在內部測試中，該模型展示了保持與原始 Qwen3-8B 相同的答案質量的能力，儘管計算成本大大降低。該工具針對需要在實時處理長序列數據的任務，標準的變換器會因為注意力的二次複雜性而導致高延遲。

實現混合架構允許有效地利用 Mamba-2 的線性擴展優勢，同時保持與傳統注意力模型相同的準確性。模型的原始碼和權重已經可以在 Hugging Face 平台上下載，根據基礎架構的授權條款。

此版本是降低生產環境中 LLM 運營成本努力的一部分。轉向混合架構允許開發人員在不需要大量增加 GPU 硬件資源的情況下擴展長上下文系統。