介紹語言模型openPangu-2.0-Pro，擁有505億個參數

開發人員推出了 openPangu-2.0-Pro — 一種新的、基於 Mixture-of-Experts (MoE) 架構的語言模型。該系統包含 505 億個參數，並使用基於 Ascend NPU 處理器的計算能力進行訓練。

該模型支持 512 千個令牌 的上下文窗口。技術實現中包括 MLA (Multi-Head Latent Attention) 和 4 線程 mHC 架構。為了優化訓練過程，開發人員使用了 Muon 演算法，這使得在處理如此大量數據時提高了權重的穩定性和收斂速度。

根據內部測試結果，新模型在專用基準測試中表現出色，超越了非「思考」版本的模型。特別是，在 HMMT 和 LiveCodeBench 任務中，準確度有所提高，這證實了所選架構在解決複雜邏輯和編程任務方面的有效性。

模型的發布旨在擴大長上下文和高負載計算的工作能力。原始數據和權重可在 Hugging Face 平台上查閱，該模型已在專用使用場景中獲得了社區的第一批評價，評價其性能。