開發人員推出了緊湊型的BananaMind-2-Pro模型

開發團隊發布了 BananaMind-2-Pro — 一種新的語言模型，採用 decoder-only 架構。該版本針對需要在有限計算資源下實現高效資料處理的任務而設計。

該模型包含 139 萬個參數，並支持大小為 3,072 個 token 的上下文窗口。在訓練過程中，使用了 100 億個 token 的資料集。根據作者的聲明，該模型在 ARC 和 HellaSwag 測試中表現出比 GPT-2 和之前的 BananaMind-2-Medium 版本更高的性能。

技術特點允許在消費級設備上部署模型。訓練時間為 1 小時，在此期間模型獲得了 35 分 的內部效率指標。模型的原始碼和權重已經可以在 Hugging Face 平台的存儲庫中下載。

BananaMind-2-Pro 的發布擴展了適合本地推理的緊湊模型系列。這類解決方案可以降低執行基本 NLP 任務的延遲，無需訪問雲 API 即可執行簡單的文本操作。