Zhipu AI 開發了自己的基礎設施以進行 GLM 的推理

公司 Zhipu AI 推出了專門的生產基礎設施以運行 GLM-5.3-Flash 模型。系統是在基於 100 000 個中國 AI 加速器 的集群上部署的，這使得在處理大型語言模型時能夠保證高性能。

關鍵的成就是系統的吞吐量增加了 3 倍，相比之前的配置。工程師們通過實施 W8A8 量化 優化達到了這樣的成績，這降低了計算資源的需求而不會明顯犧牲計算的準確性。

為了加速部署過程，團隊使用了專門的 Infra Agent。這個自動化工具使得整個基礎設施的設計和配置在不到 兩週 的時間內就完成了，這大大縮短了模型上市的時間。

開發自己的基礎設施是對於在國內設備存取限制的情況下擴大服務的需求的回應。使用本地加速器與軟體優化相結合使得公司能夠在高負載的情況下保持 GLM-5.3-Flash 的穩定運行，從而保證用戶請求的實時處理。