雅虎發布開源語言模型 AliceAI-Foundation-80B-A3B-Base

Yandex 推出了基本語言模型 AliceAI-Foundation-80B-A3B-Base，該模型從零開始訓練，不使用任何第三方權重。該模型以 Apache 2.0 許可證發布，旨在發展公司生態系統中的代理功能。

模型架構包含 80 億個參數，其中約 11 億個 參數是活躍的。在內部測試中，新模型在事實知識、數學計算、編程技能和長上下文處理方面超越了之前的封閉版本 Alice AI LLM 235B。開發人員指出，該模型在 IMO AnswerBench 和 LiveCodeBench 基準測試中表現更好，超越了 DeepSeek-V4-Flash-Base 和 Nemotron-3-Super。

訓練過程花了約半年時間，包括使用更新的數據集、改進的架構解決方案和優化的超參數。為了驗證每個階段的有效性，團隊進行了一系列實驗，訓練了多個模型版本，每個版本都使用了 2 萬億個令牌。完整的技術報告，描述了數據準備和評估的管道，與模型權重一起發布。

與模型一起，公司開放了兩個專門的基準測試 — WikiWebFacts 和 HardMultiQA。這些工具專注於評估俄語上下文中答案的質量。發布這些資源的目的是標準化評估預訓練模型質量的方法，考慮到自動評估的複雜性和結果對提示的依賴性。

AliceAI-Foundation-80B-A3B-Base 的發布是 Yandex 創建單一推理模型戰略的一部分。獲得的結果和在縮放法方面積累的經驗將用於進一步擴展 Alice 的代理功能。