DeepSeek v4.1 Flash modelini 4 katına kadar KV önbelleği sıkıştırmasıyla sundu

Geliştiriciler, DeepSeek-v4.1 Flash — bağlam işlemlerinin aşırı optimizasyonuna yönelik güncellenmiş mimariyi sundu. Model, 420 token/saniye hızına ulaşırken, aynı zamanda yüksek veri işleme doğruluğunu korur.

Ana yenilik, CSA2 teknolojisini benimsemekti, bu da KV önbelleğinin 4 katına kadar sıkıştırılmasını sağlar. Mimari, rekürsif bir yaklaşım (Recursive Transformer) kullanır ve hesaplamalar FP4 formatında yapılır, bu da daha ağır modellerin seviyesindeki performansı korurken operatif bellek gereksinimlerini önemli ölçüde azaltmaya olanak tanır.

Ön doldurma (prefill) sırasında sistem yalnızca 8 milyar parametre etkinleştirir, bu da uzun promt'lerin işlenmesinde gecikmeleri azaltır. FP4 kuantalamasının kullanılması, hesaplamalı yükü etkili bir şekilde dağıtmaya, GPU kaynaklarının tüketimini minimize etmeye ve metin oluşturma kalitesinde önemli bir kayıp olmadan izin verir.

Bu geliştirme, uzun bağlamla çalışırken sıklıkla sistem bant genişliğini sınırlayan KV önbelleği hacminin neden olduğu "boğulma" sorununu çözmeyi amaçlamaktadır. Teknik ayrıntılar ve mimarinin test sonuçları, topluluk tartışmasında mevcuttur, burada uzmanlar, yüksek yüklenen AI hizmetleri için önerilen sıkıştırma yönteminin etkinliğini vurgulamaktadır.