Bench Labs 發佈了緊湊型的 Cagliostro-v3 模型

Bench Labs公司推出了Cagliostro-v3，一種新的decoder-only模型，針對有限的計算資源進行優化。系統架構包含146百萬參數，將其歸類為緊湊語言模型（SLM）。

模型的預訓練過程是在一個包含75億令牌的數據集上進行的。目前已經完成了72.7億令牌的訓練。開發人員為模型分配了Open SLM Index指數，該指數為26.27，可以用於評估其與市場上其他類似解決方案的效率。

在測試過程中，Cagliostro-v3在ArithMark-3基準測試中表現出色，該測試專門用於評估神經網絡的數學能力。同時，在邏輯推理和常識測試中，例如PIQA，模型的表現低於其類別的預期水準。

模型的發布旨在推動輕量級系統的發展，這些系統可以在不需要部署重型基礎設施解決方案的情況下執行專門任務。模型的原始碼和權重已經可以在Hugging Face平臺的存儲庫中下載。