Ricercatori hanno creato un atlante per l'ottimizzazione dell'inferenza per LLM

Un team di ricercatori ha pubblicato The Inference Engineering Pareto Atlas, in cui ha analizzato l'impatto di diversi metodi di ottimizzazione sui costi, sulla qualità e sulla latenza del funzionamento dei modelli linguistici. Per i test è stata utilizzata la modello Qwen2.5-7B-Instruct, che funziona sul motore vLLM 0.12.

Nel corso del lavoro sono state testate 54 configurazioni su schede grafiche L4, A100 e H100. I ricercatori hanno utilizzato un simulatore calibrato in base a misurazioni reali, con un errore di deriva inferiore a 1,5%. La qualità è stata valutata su 200 domande del set GSM8K, compresa la verifica dei metodi di quantizzazione FP16, AWQ 4bit e FP8.

I risultati hanno mostrato che i pesi FP8 mantengono il 99,4% di precisione riducendo la latenza a 0,61-0,65 rispetto al livello di base. Allo stesso tempo, il metodo AWQ 4bit riduce la latenza per token a 0,34 rispetto alla base, ma porta a una perdita di 5,9% di precisione. L'utilizzo della cache FP8 KV senza ulteriori impostazioni si è rivelato inefficace, poiché il modello ha smesso di fornire risposte corrette, nonostante la conservazione della larghezza di banda.

La scelta della configurazione ottimale dipende dalle limitazioni del progetto. Per le attività con requisiti di latenza stringenti, l'H100 si è rivelato il più efficiente, mentre l'A100 ha mostrato i migliori risultati in termini di costo, garantendo l'inferenza a $0,106 per milione di token. I metodi di ottimizzazione combinati rientrano più frequentemente nel confine di Pareto rispetto alle impostazioni singole.

Questo atlante consente agli ingegneri di selezionare i parametri di distribuzione dei modelli ottimali per le specifiche risorse hardware. Il lavoro è stato pubblicato sotto licenza CC BY 4.0.