DeepSeek ha presentato il modello v4.1 Flash con una compressione del cache KV quadruplicata

I sviluppatori hanno presentato DeepSeek-v4.1 Flash — una versione aggiornata dell'architettura, orientata all'ottimizzazione estrema del lavoro con il contesto. Il modello raggiunge una velocità di generazione di 420 token al secondo, mantenendo allo stesso tempo un'elevata precisione nell'elaborazione dei dati.

La principale innovazione è stata l'introduzione della tecnologia CSA2, che garantisce una compressione del cache KV di 4 volte. L'architettura utilizza un approccio ricorsivo (Recursive Transformer) e calcoli in formato FP4, che consente di ridurre notevolmente i requisiti di memoria operativa mantenendo le prestazioni a un livello più elevato di modelli più pesanti.

Durante il prefill, il sistema attiva solo 8 miliardi di parametri, riducendo così i ritardi nell'elaborazione di prompt lunghi. L'utilizzo del quantizzazione FP4 consente di distribuire efficacemente il carico computazionale, minimizzando il consumo di risorse GPU senza una perdita significativa della qualità della generazione del testo.

Questa sviluppo è finalizzata a risolvere il problema del "collo di bottiglia" nel lavoro con contesto lungo, dove il volume del cache KV spesso limita la capacità di trasferimento del sistema. I dettagli tecnici dell'implementazione e i risultati dei test dell'architettura sono disponibili nella discussione della comunità, dove gli esperti notano l'efficacia del metodo di compressione proposto per i servizi AI ad alta carico di lavoro.