XingChen-AGI 發布了量化模型 Xing4.0-29B-A4B-FP8

來自XingChen-AGI的開發人員推出了更新版本的神經網絡Xing4.0-29B-A4B-FP8。該模型採用MoE（Mixture of Experts）架構，總參數量為29億個參數，其中4億個參數在執行請求時為活躍狀態。

本次發布的關鍵特點是針對Ascend NPU硬件的優化。該模型支持最多256千個令牌的上下文窗口，可以在單個會話中處理大量數據。在內部測試中，系統獲得了62分，計算時間為3小時。

該架構針對複雜的代理任務和編程而設計。該模型已在包括SWE-bench Verified在內的專用基準測試中進行了測試，該測試評估了AI解決開源代碼庫中實際問題的能力。使用FP8格式可以在保持性能的情況下降低內存需求。

此發布擴大了在專用計算加速器上部署高性能模型的可能性。使用FP8量化可以在推理速度和答案準確性之間取得平衡，這對於自動化的開發和代碼分析系統至關重要。