發佈了量化模型 Ternary-Bonsai-2-27B-Abliterated

開發人員推出了 Ternary-Bonsai-2-27B-Abliterated ，這是一種具有 27 億參數的專用模型，旨在最小化故障率。該版本針對需要高精度查詢且不需要過度審查的用戶而設計。

該版本的主要特點是極低的故障率，僅為 1.0% ，且完全沒有「過度拒絕」（over-refusal）。在模型準備過程中，進行了「去限制」（abliteration）程序，以消除不需要的行為限制。在優化過程中，權重變化的成本為 0.071% ，這使得在壓縮模型時可以保持原始的神經網路特性。

該模型以 GGUF 格式呈現，使用 PTQ1_0 量化方法。要運行此版本，需要使用 PrismML 的特殊分支 llama.cpp 。技術實現確保在消費級設備上具有高性能，內部測試評估為 13 分 ，僅需 2 小時 即可完成數據處理。

此版本擴展了大型語言模型的本地運行能力，提供了一種替代標準權重和嚴格安全過濾器的方案。使用 GGUF 格式簡化了與現有本地運行環境的集成，允許在使用 27 億架構時有效地分配視頻內存和系統內存。