RedHatAI 發佈了 Muse-Glimmer-30B 的量化版本

RedHatAI 團隊推出了語言模型 Muse-Glimmer-30B 的優化版本，轉換為 FP4 格式。該版本旨在降低硬件要求同時保持系統性能。

為了壓縮模型權重，開發人員使用了 LLM Compressor 工具。通過量化，相比原始模型，運行內存要求降低了 75%。這使得 30 億參數的模型可以在較低功耗的設備上運行，而無需之前所需的高性能硬件。

更新版本完全兼容 vLLM 引擎，這使得模型集成到高負載伺服器基礎設施變得更加簡單。模型在內部測試中取得了 18 分 的成績，僅需 1 小時 的計算時間。

使用 FP4 格式已成為在消費級和企業級 GPU 上部署大型模型的標準。降低佔用內存使得模型權重可以存儲在較小的視頻內存中，這對於在雲端環境中擴展 AI 服務至關重要。