介紹OrcaBonsai-27B-Uncensored模型及其故障移除方法

開發人員推出了 OrcaBonsai-27B-Uncensored ，這是一種專門的神經網絡版本，使用實時拒絕方向刪除（refusal-direction ablation）技術。該模型基於Ternary-Bonsai-2-27B架構，針對Apple Silicon芯片的設備進行優化。

該項目的技術實現基於MLX框架和2位元量化。其關鍵特點是應用了 129 個 殘差干預點（residual intervention sites）。這種方法可以在不需要重新訓練或重新量化原始權重的情況下，「在飛行中」修改模型的行為。

在測試過程中，系統展示了 30 分 的內部性能指標，僅需 3 小時 的計算時間就達到了這個水平。使用干預方法可以繞過模型的標準限制，同时保持基本權重的完整性，這對於在內存有限的消費級「硬體」上運行至關重要。

此版本擴展了在Apple架構上本地運行重型模型的功能。結合2位元量化和動態推理過程干預，可以在具有較小運行內存的設備上運行27億參數的模型，從而降低了標準FP16或INT8版本的要求。