Multiverse Computing 提出了量子化方法 Quantization-Aware Healing

公司 Multiverse Computing 推出了 Quantization-Aware Healing (QAH) 技術，允許將神經網絡壓縮到 4 位元而不失去精度。該方法針對的是通常在從全尺寸模型轉換為低位元格式時出現的權重退化問題。

在 Llama-3-8B 架構上進行測試，QAH 方法表現出超越原始 FP16 格式模型的成績。使用 4 位元量化，模型在 WikiText 和 C4 數據集上保持了高的複雜度，同時降低了 4 倍的視訊記憶體占用。開發人員指出，該算法有效地恢復了權重的信息容量，通常在標準壓縮方法中會被「丟棄」。

該技術基於迭代的微調過程，模型學習補償量化引起的四捨五入錯誤。與傳統的 Post-Training Quantization (PTQ) 不同，QAH 只需要最少的數據進行校準，這使得它可以應用於具有封閉權重或有限訓練數據的模型。

實施 QAH 可以在消費級設備上運行大型語言模型，而不需要犧牲生成質量。該方法已可用於現有的壓縮管道，提供推理速度和答案精度之間的平衡，這對於在邊緣設備上部署 AI 解決方案至關重要。