Ricercatori hanno proposto un metodo di routing delle query calibrato per LLM

Un gruppo di ricercatori ha presentato un metodo di routing calibrato per sistemi con separazione delle capacità di calcolo in prefiltro e decodifica. Il nuovo algoritmo distribuisce dinamicamente il carico tra i nodi GPU, considerando la lunghezza del prompt, la lunghezza della risposta prevista, la pressione sul cache KV e i requisiti SLO.

Durante il test su otto GPU NVIDIA A40 gestiti dal motore vLLM, il sistema ha mostrato un tasso di goodput medio di 0,864. Ciò supera i risultati delle strategie standard, come round robin (0,835) e least loaded. L'utilizzo di un router calibrato ha consentito di raggiungere prestazioni analoghe utilizzando sei GPU invece di sette, riducendo i requisiti di infrastruttura.

Gli autori sottolineano l'importanza della calibrazione hardware: l'utilizzo di costanti ottenute solo attraverso un simulatore riduce l'efficacia del goodput di 4,5 punti e riduce il vantaggio nella coda di ritardi (tail latency) del 40%. In condizioni di estrema carenza di risorse, la minimizzazione avida dei costi diventa meno efficace rispetto alla semplice distribuzione del carico.

I vantaggi del metodo sono più evidenti quando si lavora con traffico eterogeneo e si scala il pool di decodifica. Con un piccolo numero di nodi (tre o meno), l'efficacia dell'algoritmo viene annullata, poiché il semplice conteggio della lunghezza della coda è sufficiente per il bilanciamento.

Il lavoro è pubblicato sotto licenza CC BY 4.0. I risultati della ricerca consentono di ottimizzare il funzionamento di sistemi desgregati, come DistServe o Mooncake, grazie a una previsione più precisa del tempo di completamento della richiesta su ogni nodo.