Yandex 推出了 MoE 模型 AliceAI-Foundation-80B-A3B-Base

Yandex 公司發佈了 AliceAI-Foundation-80B-A3B-Base — 一種新的語言模型，採用 Mixture-of-Experts (MoE) 架構。該版本針對大數據和專門任務的處理進行了優化。

該模型的參數總數達 80 億，每個令牌的活躍參數數為 3 億。這種配置可以在降低推理計算成本的情況下保持高性能，相比之下，類似大小的密集模型的計算成本更高。

架構的關鍵特點是支持 262 千個令牌 的上下文窗口。這使得系統可以整體處理長文檔和複雜的程式項目，而無需將文本強制分割為小塊。

在內部測試中，模型在評估俄語事實、數學計算和程式代碼生成的基準測試中表現出色。開發人員指出，A3B 架構在知識深度和響應速度之間取得了平衡。

該模型的發佈擴展了用於創建高負載 AI 系統的工具集，這些系統需要深度集成俄語內容。原始權重和文檔已經通過 Hugging Face 平台公開，供用戶瀏覽和集成到第三方項目中。