IFM 釋出了量化模型 K2-Horizon-7B-FP8

開發團隊推出了 K2-Horizon-7B-FP8 — 一種新的語言模型，具有 7B 架構，優化為 FP8 格式。該版本針對降低視訊記憶體需求同時保持 BF16 格式的計算精度。

模型的關鍵特點是支持 512K 標記 的上下文視窗。使用 FP8 量化可以顯著加速在支持此類型數據的硬件設備上進行的推理過程，同時模型保持密集（dense）的權重結構。

在內部測試中，模型展示了高性能，獲得了開發人員的內部評估 10 分 ，處理時間為 1 小時 。模型可在 Hugging Face 平台上下載，適合部署在 GPU 資源有限的環境中。

轉換為 FP8 格式已成為優化現代 LLM 的標準，允許在消費級和伺服器級設備上運行更長的上下文而不會明顯犧牲生成質量。該版本擴展了開發人員的工具箱，適用於高負載的文本處理系統。