XingChen-AGI ha rilasciato un modello quantizzato Xing4.0-29B-A4B-FP8

Gli sviluppatori di XingChen-AGI hanno presentato la versione aggiornata della rete neurale Xing4.0-29B-A4B-FP8. Il modello rappresenta un'architettura di tipo MoE (Mixture of Experts) con un volume totale di 29 miliardi di parametri, di cui 4 miliardi sono attivi durante l'esecuzione della richiesta.

La caratteristica chiave del rilascio è stata l'ottimizzazione per l'hardware Ascend NPU. Il modello supporta il lavoro con una finestra di contesto di volume fino a 256 mila token, il che consente di elaborare grandi volumi di dati all'interno di una singola sessione. Durante i test interni, il sistema ha ottenuto 62 punti, spendendo 3 ore per i calcoli.

L'architettura è orientata all'esecuzione di compiti agente complessi e alla programmazione. Il modello ha superato il test su benchmark specializzati, tra cui SWE-bench Verified, che valuta la capacità dell'AI di risolvere problemi reali nei repository con codice aperto. L'utilizzo del formato FP8 ha consentito di ridurre i requisiti di memoria mantenendo le prestazioni.

Questo rilascio estende le possibilità per il deploy di modelli ad alte prestazioni su acceleratori di calcolo specializzati. L'utilizzo della quantizzazione FP8 garantisce un equilibrio tra la velocità di inferenza e l'accuratezza delle risposte, che è critico per i sistemi di sviluppo e analisi del codice automatizzati.