ByteShape 釋出了 Qwen 3.8 27B 的量化版本

公司 ByteShape 推出了語言模型 Qwen 3.8 27B 的量化 GGUF 版本系列，該版本針對在硬體資源有限的情況下優化模型運作，同時保持高精度的生成能力。

主要配置 GPU-5（IQ4_XS）需要 13.1 GB VRAM，並展示了每秒 90.4 個 token 的性能。根據內部測試，該版本的答案質量達到原版模型在 BF16 格式下的 99.63%。訓練和校準權重的過程花了 9 小時，最終模型在專業基準測試中獲得 71 分。

針對記憶體限制更為嚴格的系統，提供了 GPU-4 版本。它消耗 11.0 GB VRAM，通過更激進的參數壓縮提高了推理速度。兩個版本都可以通過標準的 GGUF 格式支持工具進行本地部署。

技術細節和社群測試結果在 Hacker News 平台上進行討論。使用量化技術可以在中端消費級顯示卡上運行 27B 級別的模型，降低了本地使用重型 LLM 的門檻。