研究人員編製了大型語言模型的推理優化地圖

研究團隊發佈了The Inference Engineering Pareto Atlas，分析了不同優化方法對語言模型成本、質量和延遲的影響。測試使用了在vLLM 0.12引擎上運行的Qwen2.5-7B-Instruct模型。

在工作過程中，研究人員在L4、A100和H100圖形處理器上測試了54個配置。他們使用了根據實際測量結果校準的模擬器，漂移誤差小於1.5%。質量評估使用了GSM8K數據集中的200個問題，包括FP16、AWQ 4bit和FP8量化方法的測試。

結果顯示，FP8 weights在降低延遲至0.61–0.65的基礎上保留了99.4%的準確度。同時，AWQ 4bit方法將延遲縮短至0.34，但導致準確度損失5.9%。未經額外調整的FP8 KV cache方法無效，因為模型停止給出正確答案，儘管保持了吞吐量。

選擇最佳配置取決於項目限制。對於延遲要求嚴格的任務，H100是最有效的，而A100在成本方面表現最佳，提供了每百萬令牌$0.106的推理成本。組合優化方法比單一設置更常出現在帕累托邊界。

該地圖集允許工程師根據具體硬件資源選擇最佳模型部署參數。該作品在CC BY 4.0許可下發佈。