Sunulan DFlash 2 drafter Qwen3.8-27B modelinin hızlandırılması için

Geliştiriciler, Qwen3.8-27B-DFlash2 adlı Qwen3.8-27B modelinde metin oluşturmayı hızlandırmaya yönelik özel bir aracı sundu. Çözüm, DFlash 2 mimarisine dayanmaktadır ve 2B block-diffusion drafterı olarak görev yapmaktadır.

Bu teknoloji, her oluşturma adımında 8 draft-tokenu kullanarak推出 işlemlerini 3.43x hızlandırmanıza olanak tanır. Test sırasında model, görevi 1 saat içinde tamamlayarak 236 puan elde etti. Ağırlıklar ve yapılandırma, Hugging Face platformundaki depodan indirilebilir.

Drafterlerin (taslak modellerinin) kullanımı, küçük bir modelin token dizisini tahmin ettiği ve ana modelin bunları paralel olarak kontrol ettiği bir optimizasyon yöntemidir. Bu, kuantize edilmiş sürümlerin karakteristik olduğu kalite kaybı olmadan LLM'den yanıt alma süresini önemli ölçüde kısaltmayı sağlar.

DFlash 2 entegrasyonu, Qwen3.8-27B modelini düşük gecikme (latency) kritik olan yüksek yük sistemlerinde kullanan geliştiricilere yöneliktir. Araç, modelle çalışmayı standart sunucu donanımında etkili bir şekilde ölçeklendirmenize olanak tanır.