SpeckLabs 推出了緊湊型的 Speck2-140M 模型

公司 Speck2-140M 釋出了新的基礎語言模型，針對英文語言的高效處理。系統架構包含 140 萬個參數，使其適合在計算資源有限的設備上運行。

模型的基礎是結合了 grouped-query attention 和 gated convolution 機制。訓練是在 20 億個令牌 的語料庫上進行的。開發人員確認了系統在使用貪婪解碼（greedy decoding）方法時的正確性，這保證了文本生成的可預測性。

模型可以通過 Transformers 庫進行整合。為了在代碼中加載權重，需要使用 trust_remote_code=True 參數，因為架構需要特定的設定以正確初始化卷積和注意力層。

釋出這些緊湊的解決方案允許直接在本地應用程序中實現語言功能，而無需訪問雲API。低參數數量保證了高推理速度，這對於需要最小延遲的文本請求處理任務至關重要。