發佈了Swift-Qwen3.8-27B-NVFP4的量化模型

開發人員推出了 Swift-Qwen3.8-27B-NVFP4 — 一種為圖形加速器使用混合精度進行優化的語言模型專用版本。

模型的大小為 21,945 GB。在架構中實現了 NVFP4 和 FP8 格式的結合，這使得可以大大降低對視頻記憶體的要求。在 H100 加速器上運行時，模型只佔用 20 GB 的 VRAM，同时保持原始的生成質量和 KV 快取的準確性。

技術解決方案旨在降低在伺服器硬體上部署重型模型的門檻。使用 NVFP4 可以在不明顯犧牲性能的情況下提供更高的權重打包密度，這對於記憶體容量有限的系統至關重要。

此版本擴展了在計算資源有限的情況下使用 Qwen 架構的功能。優化允許在以前需要更多記憶體的配置上運行 27 億參數的模型。