Spiritfather 發佈了量化模型 Boulesis-26B-A4B

開發者spiritfather推出了Boulesis-26B-A4B-i1-GGUF，這是一種新的語言模型版本，針對本地運行進行了優化。該版本以GGUF格式發布，確保與熱門的個人電腦運行環境相容。

該模型基於具有26億個參數的架構，並使用A4B量化方法。使用i1-GGUF格式可以在保持文本生成精度的同時，大幅降低對視頻內存和運行內存的需求。在初步測試中，該模型獲得了11顆星的評分，展示了在1小時負載下執行生成任務的穩定性。

該工具完全相容於最新的本地推理庫和環境，包括llama.cpp、vLLM和Ollama。這使得用戶可以在不需要使用雲API或專用伺服器叢集的情況下，在消費級設備上運行模型。

此版本擴大了重型語言模型對於愛好者和開發人員的可用性，他們使用本地AI解決方案。GGUF格式仍然是分佈式運行神經網絡的標準，允許用戶根據其具體的硬件配置靈活地調整量化參數。