ProCreations 發佈了更新的 Ternary-Bonsai-2-27B-MTP 模型

開發人員推出了 Ternary-Bonsai-2-27B-MTP ，這是一種經過微調的語言模型更新版本，針對計算性能和硬體環境進行了優化。

主要變化是引入 Q8_0 head ，使得運行速度提高了 1.26% 。此模型需要使用為 Linux x86-64 系統打補丁的原生運行時環境。要正確運行，系統需要 CUDA 13.3 環境。

在測試過程中，模型在 3 小時 的數據處理中取得了 16 分 的內部評估指標。使用 Ternary-Bonsai-2-27B-MTP 需要一個配置好的環境，符合 NVIDIA 庫和處理器架構的要求。

此版本繼續了對 Bonsai 系列模型的優化，旨在降低推理延遲。更新允許開發人員將模型集成到高負載系統中，在這些系統中，與最新版本的驅動程序和運行時的兼容性至關重要。