發佈了量化模型Qwen3.8-27B,具有MTP優化
2026年9月18日

開發人員以GGUF格式發佈了Qwen3.8-27B-abliterated,適合本地運行。該模型基於AEON-7架構,使用Ridge-inspired混合量化方法,使得模型的權重可以壓縮到12 GB的視頻內存中。
該模型的技術參數包括壓縮率3.69 bpw。在RTX 5060 Ti顯示卡上進行測試,模型的生成速度約為37個令牌每秒。工具包已適配為通過llama.cpp引擎運行,從而確保與大多數消費級GPU的兼容性。
在內部測試中,模型在一小時測試中獲得了106分。使用MTP結構(混合量化Tensor Packing)可以在大大降低VRAM需求的情況下最小化精度損失,同时保持在本地機器上進行推理的高速度。
此版本針對需要在中端設備上運行27億參數的大型模型的用戶。將模型權重優化到12 GB,使得模型可以在內存有限的系統上運行,而無需使用雲計算資源。



