研究人員提出了一種針對LLM的校準路由查詢方法

一組研究人員提出了一種針對計算資源分為預填充和解碼的系統的校準路由方法。新的算法動態地在GPU節點之間分配負載，考慮到提示長度、預測的響應長度、KV緩存壓力和SLO要求。

在使用八個NVIDIA A40 GPU和vLLM引擎進行測試時，系統展示了平均goodput指標為0.864。這超出了標準策略的結果，例如round robin（0.835）和最少載荷。使用校準路由器可以在使用六個GPU而不是七個的情況下達到類似的性能，這降低了對基礎設施的要求。

作者強調了硬件校準的重要性：僅使用模擬器獲得的常數會降低goodput的效率4.5個點，並降低尾延遲（tail latency）的優勢40%。在資源極度匱乏的情況下，貪婪的成本最小化變得不如簡單的負載分配有效。

方法的優勢在處理非均勻流量和解碼池擴展時最為明顯。當節點數量少（三個或以下）時，算法的效率會被抵消，因為簡單的隊列長度計數已經足以平衡負載。

該工作在CC BY 4.0許可下發布。研究結果允許通過更準確地預測每個節點的請求完成時間來優化分散式系統（如DistServe或Mooncake）的工作。