Liquid AI LFM2.5-DSpark modelini hızlandırılmış çıkarım ile sundu

Şirket Liquid AI performansı artırmaya yönelik LFM2.5-DSpark güncellenmiş mimarisini yayınladı. Yeni model sürümü, benzer hesaplama ortamlarında önceki sürümlerle karşılaştırıldığında 3.2 kat daha hızlı üretim gösteriyor.

Geliştiriciler, dizi işleme mekanizmasına optimizasyonlar ekledi ve bu da uzun bağlamlarla çalışırken gecikmeleri azalttı. İç testlerde model, bellek tüketiminde %28 azalma ile稳il bir şekilde çalıştı. Mimari, dinamik ağırlık dağıtımı destekler ve bu, decoding aşamasında kayan nokta işlemlerinin sayısını en aza indirir.

LFM2.5-DSpark'ın teknik uygulaması, KV önbelleğini daha verimli kullanan yeniden tasarlanmış bir dikkat katmanını içerir. Bu çözüm, modeli video belleği bant genişliği gereksinimlerini azaltan tüketici ekipmanında çalıştırmanıza olanak tanır. Entegrasyon için araç seti, bulut ortamlarında dağıtmak için hazırlanmış yapılandırmalar dahil proje deposunda zaten mevcuttur.

Güncelleme, akış verilerini işlerken standart transformatörlerin karakteristiği olan performans darboğazlarını gidermeye yöneliktir. Yanıt süresinin azaltılması, modeli gerçek zamanlı metin üretimi için minimum gecikme gerektiren etkileşimli uygulamalar için uygun hale getirir.