OpenVINO 推出了 Gemma-4-E4B 的量子版本

團隊 OpenVINO 發佈了實驗版本的模型 Gemma-4-E4B-it，該模型已針對本地設備進行優化。模型的權重已使用 NNCF 庫壓縮為 INT4 格式，這使得在保持基本架構特性的情況下，大大降低了對運行內存的要求。

轉換為 OpenVINO IR 格式確保了與 2026.1.0 及更高版本的運行時環境的兼容性。為了將其集成到工作流程中，開發人員需要 Optimum Intel 庫的 1.27.0 或更高版本。準備和壓縮權重的過程花費了大約 3 小時，在此期間，模型獲得了 8 分 的內部性能指標評分。

使用 INT4 量化是在消費級處理器和整合式繪圖卡上運行 LLM 的標準方法。將模型轉換為 OpenVINO 格式允許在具有 x86 和 ARM 架構的設備上使用硬件加速，從而在推理時最小化延遲。這個版本面向於創建具有有限計算資源的本地 AI 應用程序的開發人員。

更新擴展了部署 Gemma 系列模型到企業和用戶環境的工具生態系統。使用優化格式允許在以前不支持原始表示形式的重型權重的設備上運行現代語言模型。