Zhipu AI ha sviluppato una propria infrastruttura per l'inferenza GLM

L'azienda Zhipu AI ha presentato un'infrastruttura produttiva specializzata per l'esecuzione del modello GLM-5.3-Flash. Il sistema è stato distribuito sulla base di un cluster di 100 000 acceleratori AI cinesi, il che ha consentito di garantire un'elevata produttività nel lavoro con grandi modelli linguistici.

Il risultato chiave è stato l'aumento della larghezza di banda del sistema di 3 volte rispetto alle configurazioni precedenti. Gli ingegneri hanno raggiunto tali risultati grazie all'implementazione dell'ottimizzazione del W8A8-quanticazione, che riduce i requisiti per le risorse di calcolo senza una perdita significativa di precisione dei calcoli.

Per accelerare il processo di distribuzione, il team ha utilizzato un agente di infrastruttura specializzato Infra Agent. Questo strumento di automazione ha consentito di completare la progettazione e la configurazione dell'intera infrastruttura in meno di due settimane, riducendo notevolmente il tempo di messa sul mercato del modello.

Lo sviluppo di un'infrastruttura propria è stata la risposta alla necessità di scalare i servizi in condizioni di restrizioni all'accesso alle attrezzature estere. L'utilizzo di acceleratori locali in combinazione con ottimizzazioni software consente all'azienda di mantenere un funzionamento stabile del GLM-5.3-Flash in condizioni di carico elevato, garantendo un'elaborazione efficiente delle richieste degli utenti in tempo reale.