研究人員評估了在GPU、CPU和SSD之間放置KV快取的效能

一組研究人員發表了一篇科學論文GPU HBM、CPU DRAM和SSD的分層記憶體系統中優化KV緩存的放置。作者分析了不同替換政策和預取政策對長會話、代理和文檔查詢任務性能的影響。

模擬結果顯示，使用具有容量比為1:8:64的多級架構可以將單個GPU上的同時會話數量增加73.02倍。同時，維護一個會話的成本降低了62.04倍。研究人員指出，主要收益來自於記憶體的擴展，而不是具體的數據放置政策。

在測試過程中發現，對於聊天機器人，Recency(替換政策)生成的記憶體遷移流量是Reuse Frequency(重複使用頻率)的2.3倍。但是，對於代理任務和文檔處理，Reuse Frequency表現更好。使用預測模型和預取機制並沒有達到預期的效果：即使有一个“神諭”知道未來的查詢，預取也不會降低遷移流量。

作者強調，當批次大小為1時，解碼過程受到計算能力的限制，因此數據放置策略對於吞吐量的影響很小。政策的主要影響是對PCIe流量和首個令牌的獲取時間。該論文在CC BY 4.0許可下發表。