Zhipu AI kendi GLM çıkarımı altyapısını geliştirdi

Şirket Zhipu AI modeli GLM-5.3-Flash çalıştırmak için özel bir üretim altyapısı sundu. Sistem, 100 000 Çin AI hızlandırıcısı kümesinden oluşan bir küme üzerine kuruldu ve bu da büyük dil modelleriyle çalışırken yüksek performans sağladı.

Ana başarı, sistemin bant genişliğini önceki yapılandırmalarla karşılaştırıldığında 3 kat artırmasıydı. Mühendisler, hesaplama kaynaklarına olan talebi azaltırken hesaplama doğruluğunda önemli bir kayıp olmadan W8A8-kuantumlaşma optimizasyonunu uygulayarak böyle bir performans elde ettiler.

Dağıtım sürecini hızlandırmak için ekip, özel bir Infra Agent kullandı. Bu otomatikleştirme aracı, tüm altyapının tasarımı ve ayarlarının iki haftadan kısa bir sürede tamamlanmasını sağladı ve bu da modelin piyasaya sürülme süresini önemli ölçüde kısalttı.

Kendi altyapısını geliştirmek, yabancı ekipmana erişim kısıtlamaları altında hizmetleri ölçeklendirme ihtiyacına bir yanıt oldu. Yerel hızlandırıcıları yazılımla optimize ederek birleştirmek, şirketin GLM-5.3-Flash modelini yüksek yüklerde stabil bir şekilde çalıştırmasını ve kullanıcı taleplerinin gerçek zamanlı olarak etkili bir şekilde işlenmesini sağlar.