推出 SPECTRA 框架，可將 LLM 壓縮至原來的 1/3

開發人員推出了 SPECTRA，這是一個用於壓縮大型語言模型的新框架，能在幾乎不損失準確度的情況下將模型大小縮減為原來的 1/3。該技術旨在優化模型在硬體資源受限設備上的運行效能。

此方法的一個關鍵特性是無需進行數據校準。得益於此解決方案，標準的 70 億參數模型可以在具備 4GB 視訊記憶體 (VRAM) 的硬體上運行。同時，壓縮過程與演算法本身的運作僅需不到 50MB 的記憶體，使其成為同類工具中最輕量級的解決方案之一。

開發人員指出，這種方法顯著降低了在本地運行現代 LLM 的門檻。這為將強大的語言模型整合至消費性電子產品與行動系統開啟了可能性，因為在這些設備中，可用記憶體容量往往是關鍵限制。詳細的技術細節與測試結果可參閱團隊的官方研究報告。