Araştırmacılar LLM için çıkarım optimizasyonu atlası oluşturdular

Araştırmacılar ekibi, dil modellerinin maliyeti, kalitesi ve gecikme süresine çeşitli optimizasyon yöntemlerinin etkisini analiz ettiği The Inference Engineering Pareto Atlas adlı bir çalışma yayınladı. Test için vLLM 0.12 motoru çalıştıran Qwen2.5-7B-Instruct modeli kullanıldı.

Çalışma kapsamında 54 konfigürasyon L4, A100 ve H100 grafik işlemcilerinde test edildi. Araştırmacılar, gerçek ölçümlere göre kalibre edilmiş ve 1.5%'den az bir sapma payı olan bir simülatör kullandılar. Kalite, GSM8K setinden 200 soruda, FP16, AWQ 4bit ve FP8 kuantizasyon yöntemlerinin test edilmesi dahil olmak üzere değerlendirildi.

Sonuçlar, FP8 weights'in temel seviyeden 0.61–0.65 oranında gecikme azalmasıyla birlikte 99.4% doğruluğu koruduğunu gösterdi. Aynı zamanda, AWQ 4bit yöntemi token başına gecikmeyi 0.34 oranında azalttı, ancak 5.9% doğruluk kaybına neden oldu. FP8 KV önbelleğinin ek ayarlamalar olmadan kullanılması etkili olmadı, çünkü model doğru cevaplar vermayı bıraktı, ancak bant genişliğini korudu.

Optimal konfigürasyonun seçimi, projenin kısıtlamalarına bağlıdır. Gecikme gereksinimleri açısından talepleri yüksek görevler için en etkili olan H100 olurken, A100 maliyet açısından daha iyi sonuçlar verdi ve milyonlarca token için $0.106 gibi bir maliyetle çıkarım sağladı. Kombine optimizasyon yöntemleri, tekli ayarlamalara kıyasla daha sık olarak Pareto sınırına ulaştı.

Verilen atlas, mühendislerin modellerin dağıtım parametrelerini belirli donanım kaynaklarına göre ayarlamalarına olanak tanır. Çalışma CC BY 4.0 lisansı altında yayınlandı.