DeepX, 100B'ye kadar modellerle çalışmak için DX-M2 çipini tanıttı

DeepX, ikinci nesil DX-M2 çipinin topoloji geliştirmesini tamamladı. Yeni silikon işlemci, 5 W'tan daha düşük güç tüketimiyle 100 milyar parametreye kadar dil modellerini çalıştırmak için tasarlandı.

Bu değerlere, Samsung LPDDR5x PIM belleğinin entegrasyonu sayesinde ulaşıldı. Verilerin doğrudan bellek içinde işlenmesini sağlayan bu teknolojinin kullanımı, önceki nesil donanıma kıyasla 6,7 kat performans artışı sağlıyor.

Geliştirme; yerel yapay zekayı, güç ve ısı yayılımı konusunda katı kısıtlamalara sahip kompakt cihazlara ve gömülü sistemlere entegre etmeye odaklanıyor. Çip, büyük sunucu hızlandırıcıları kullanmadan büyük konfigürasyonların çıkarımını (inference) gerçekleştirmeye olanak tanıyor.