發佈了 Qwen3.8-27B 的量化版本

開發人員推出了 Qwen3.8-27B-GGUF ，這是一種為了在消費級設備上本地運行而優化的語言模型版本。該版本包括量化權重，允許在硬件資源有限的情況下使用模型而不會明顯損失準確度。

該模型在內部測試中展示了 85 分 的成績，並在 1 小時 的數據處理時間內達到了這個成績。 GGUF 格式確保了與流行的運行環境的兼容性，包括 llama.cpp 、 vLLM 和 Ollama 。使用量化允許在具有較小視頻內存的系統上運行 27 億模型，從而比以 FP16 格式運行完整版本所需的內存要小。

該工具包面向在 Pi 或 Hermes 等應用程序中實現本地 AI 解決方案的開發人員。 GGUF 格式的支持簡化了將模型集成到現有的本地推理管道中的過程，從而在標準 GPU 和 CPU 上提供高令牌生成速度。

此版本擴大了 Qwen 架構對於愛好者和處理私有數據的公司的可用性。模型的本地部署消除了將請求傳輸到外部服務器的需要，這對於具有高安全性要求的任務至關重要。