Araştırmacılar LLM için kalibre edilmiş sorgu yönlendirme yöntemini önerdi

Araştırmacılar, ön doldurmanın ve kod çözme işlemlerinin hesaplamalarının ayrıldığı sistemler için kalibre edilmiş yönlendirme yöntemi sundu. Yeni algoritma, GPU düğümleri arasında yükü dinamik olarak dağıtır ve promt uzunluğunu, öngörülen cevap uzunluğunu, KV önbelleği baskısını ve SLO gereksinimlerini dikkate alır.

Sekiz NVIDIA A40 GPU'su ile vLLM motoru kullanarak yapılan testlerde, sistem ortalama 0.864 goodput değeri gösterdi. Bu, round robin (0.835) ve en az yük stratejileri gibi standart stratejilerin sonuçlarını aştı. Kalibre edilmiş yönlendirici kullanmak, yedi yerine altı GPU ile benzer performansı elde etmeyi sağladı, bu da altyapı gereksinimlerini azalttı.

Yazarlar, donanım kalibrasyonunun önemini vurguladı: yalnızca bir simülatör aracılığıyla elde edilen sabitlerin kullanılması, goodput verimliliğini 4.5 puan azalttı ve gecikme kuyruğundaki (tail latency) avantajı %40 azalttı. Kaynakların aşırı kıtlığı koşullarında, açgözlü maliyet minimizasyonu, basit yük dağıtımı kadar etkili olmadı.

Yöntemin avantajları, özellikle de heterojen trafik ve kod çözme havuzlarının ölçeklendirilmesiyle çalışırken belirgindir. Üç veya daha az düğüm olduğunda, algoritmanın etkinliği, basit bir kuyruk uzunluğu sayımının dengelenmesi için yeterli olduğu için ortadan kalkar.

Çalışma CC BY 4.0 lisansı altında yayınlandı. Araştırma sonuçları, DistServe veya Mooncake gibi dağıtılmış sistemlerin işleyişini, her bir düğümdeki istek tamamlama süresinin daha doğru öngörülmesi sayesinde optimize etmeyi sağlar.