Baidu 發布 ERNIE 5.5 Flash Base 模型

Baidu 公司推出了全新的語言模型 ERNIE 5.5 Flash Base。這款新產品採用了 MoE（Mixture-of-Experts，混合專家模型）稀疏架構，總參數規模達 2800 億，而每個 token 的活躍參數數量為 140 億。

該模型經過了 33.5 兆個 token 的數據集預訓練。此次發布的關鍵特性之一是支援高達 100 萬個 token 的上下文窗口。據開發者稱，這些參數確保了在各種應用場景下執行微調和推理任務時的高效率。

有關該模型的技術細節與文檔，請參閱 ERNIE 5.5 Flash Base 官方頁面。此版本旨在為需要在大模型性能與稀疏架構帶來的運行速度之間取得平衡的開發者提供支援。

使用 140 億個活躍參數，能在保持數千億參數模型所具備的廣泛能力之餘，顯著降低計算成本。該解決方案簡化了將先進語言功能導入高負載系統的過程，滿足了即時處理長上下文的需求。