Ricercatori hanno valutato l'efficacia della collocazione della cache KV tra GPU, CPU e SSD

Un gruppo di ricercatori ha pubblicato un lavoro scientifico dedicato all'ottimizzazione della posizione del cache KV nelle gerarchie di memoria che includono GPU HBM, CPU DRAM e SSD. Gli autori hanno analizzato l'impatto di diverse politiche di sostituzione e prefetching sulle prestazioni durante il lavoro con sessioni lunghe, agenti e compiti di risposta alle domande sui documenti.

I risultati della simulazione mostrano che l'utilizzo di un'architettura a più livelli con un rapporto di capacità di 1:8:64 consente di aumentare il numero di sessioni simultanee su un singolo GPU di 73,02 volte. Allo stesso tempo, il costo di gestione di una sessione si riduce di 62,04 volte. I ricercatori notano che il principale vantaggio si ottiene grazie alla scalabilità della memoria e non grazie alla scelta di una politica di posizionamento dei dati specifica.

Durante i test, è stato scoperto che per i chatbot la politica Recency (sostituzione per anzianità) genera 2,3 volte meno traffico di migrazione dei dati tra i livelli di memoria rispetto alla politica Reuse Frequency (frequenza di riutilizzo). Tuttavia, per i compiti degli agenti e l'elaborazione dei documenti, Reuse Frequency mostra risultati migliori. L'utilizzo di modelli predittivi e meccanismi di prefetching non ha soddisfatto le aspettative: anche con la presenza di un "oracolo" che conosce le future richieste, il prefetching non riduce il volume del traffico di migrazione.

Gli autori sottolineano che con una dimensione del batch pari a uno, il processo di decodifica è limitato dalla potenza di calcolo, quindi la strategia di posizionamento dei dati ha un impatto debole sulla larghezza di banda. L'impatto principale della politica si verifica sull'intensità del traffico PCIe e sul tempo di ricezione del primo token. Il lavoro è pubblicato sotto licenza CC BY 4.0.