Araştırmacılar KV-önbelleğinin GPU, CPU ve SSD arasında yerleştirilmesinin etkinliğini değerlendirdiler

Araştırmacılar, GPU HBM, CPU DRAM ve SSD'yi içeren hiyerarşik bellek sistemlerinde KV-önbelleğinin yerleştirilmesini optimize etmeye adanmış bir bilimsel çalışmayı yayınladı. Yazarlar, çeşitli yer değiştirme ve ön alma politikalarının uzun oturumlar, ajanlar ve belge yanıtlama görevleri ile çalışma performansı üzerindeki etkilerini analiz ettiler.

Simülasyon sonuçları, 1:8:64 kapasite oranına sahip çok seviyeli bir mimarinin kullanmasının, bir GPU'da aynı anda çalışan oturum sayısını 73,02 kata artırabileceğini gösteriyor. Buna karşılık, bir oturumun bakım maliyeti 62,04 kata düşüyor. Araştırmacılar, ana kazancın veri yerleştirme politikasının seçimi değil, belleğin ölçeklendirilmesinden elde edildiğini belirtiyorlar.

Testler sırasında, sohbet botları için Recency (eski veri yer değiştirme) politikasının, Reuse Frequency (yeniden kullanım sıklığı) politikasına kıyasla bellek seviyeleri arasında veri göçü trafiğini 2,3 kata azalttığı tespit edildi. Ancak, ajan görevleri ve belge işleme için Reuse Frequency daha iyi sonuçlar gösteriyor. Tahmin edici modellerin ve ön alma mekanizmalarının kullanılması beklentileri karşılamadı: gelecekteki sorguları bilen bir "oracle" bile olsa, ön alma veri göçü trafiğini azaltmıyor.

Yazarlar, parti boyutu bir ise, kod çözme işleminin hesaplama gücü ile sınırlı olduğunu vurguluyorlar, bu nedenle veri yerleştirme stratejisi bant genişliği üzerinde zayıf bir etkiye sahiptir. Politikanın ana etkisi PCIe trafiği yoğunluğu ve ilk token alma süresine yöneliktir. Çalışma CC BY 4.0 lisansı altında yayınlandı.