XingChen-AGI 釋出了 MoE 模型 Xing4.0，擁有 29 億個參數

來自XingChen-AGI的開發人員推出了新的神經網絡架構Xing4.0-29B-A4B。該模型基於MoE(Mixture of Experts)架構，旨在執行複雜的代理任務。

模型的總參數數為29億，在計算過程中啟用4億活躍參數。這種配置允許在保持高性能的情況下優化計算資源的消耗。模型支持擴展的上下文窗口，容量為256K令牌。

為了本地運行和集成到工作流程中，提供了以GGUF格式的量化版本，大小為18 GB。該架構已經為Ascend NPU硬件加速器進行了特殊優化，這擴大了其在專用伺服器環境中的應用可能性。

在初步測試中，模型在4小時內取得了107分的成績。該版本面向開發需要高精度處理長數據序列的自主AI代理的開發人員。

Xing4.0的發布繼續了創建專用MoE解決方案的趨勢，這些解決方案可以在響應速度和生成質量之間有效平衡。使用GGUF量化使模型可在具有有限視頻內存的消費者和企業設備上部署。