研究人員提出BITCOS方法來壓縮三元LLM

研究人員提出BITCOS，一種新的適應性數據放置方法，可以突破三元語言模型的標準壓縮障礙1.58比特。與傳統的五元組打包方法相比，後者需要每個權重1.625比特，而新的技術考慮了神經網絡權重中符號的實際分佈。

對29個三元模型的分析顯示，零權重的比例高達51.5%。BITCOS方法使用密集的比特存在映射與緊湊的符號向量相結合，可以將最稀疏模型的記憶體體積降低到每個權重1.485比特，在29個測試的架構中，效率超過了標準方法26次。

開發人員為AVX-512、AVX2和Intel Xe2圖形處理器的指令實現了優化的解包序列。該格式的應用可以將矩陣-向量乘法的性能提高到1.28x，相比於當前的工業解決方案。

在五個不同的硬件平台上進行測試，包括客戶端和伺服器處理器，顯示CPU的解碼吞吐量增加到1.18x，GPU的解碼吞吐量增加到1.27x。使用BITCOS可以在部署有限精度權重模型時更有效地利用記憶體資源。

該開發優化了對於參數存儲密度至關重要的系統的推理。轉換為適應性壓縮可以降低記憶體帶寬要求，加速了LLM在從集成圖形核心到高性能伺服器加速器的廣泛硬件上的運行。