Araştırmacılar LLM ön doldurmasını hızlandırmak için RBS-Attention yöntemini sundular

Araştırmacılar, büyük dil modellerinde uzun bağlamların işlenmesinde "ortalama bulanıklık" sorununu çözen seyrek ön doldurma yöntemi olan RBS-Attention'ı geliştirdiler. Teknoloji, blokları seçmek için çift dalgalı bir sistem kullanır: temel dalga ortalama alakayı belirler ve "kurtarma" dalga, standart seyrek dikkat yöntemlerinin yanlışlıkla göz ardı edebileceği tokenleri belirler.

Yöntem, ek eğitim gerektirmez ve FlashAttention mekanizması ile uyumluluğunu korur. H100 GPU'sunda 128K bağlamı ile Qwen3-30B-A3B-Instruct-2507-FP8 modelinde test edildiğinde, çözüm, tek başına ön doldurma için 20,65 kat hızlanma ve vLLM motoru kullanıldığında 11,92 kat hızlanma gösterdi. İlk token zamanı (TTFT) 5,97 kat azaltıldı.

RBS-Attention kullanıldığında modelin doğruluğu, yoğun dikkat ile karşılaştırılabilir düzeydedir. RULER benchmark'inde Qwen3-32B modeli, standart mimariye kıyasla 88,65 karşı 89,52 sonuç gösterdi. Ek kalite kontrolü, LongBench-v2, InfiniteBench ve Video-MME veri setlerinde yapıldı.

Seyrek dikkat kullanmak, uzun belgelerle çalışırken "dar boğaz" olan promt işleme aşamasında hesaplama maliyetlerini önemli ölçüde azaltmaya olanak tanır. Yeni yaklaşım, seçilen blokları dinamik olarak katman, dikkat başlığı ve promt yapısına bağlı olarak uyarlamayı sağlar, bu da uzun bağlam desteği olan modelleri üretim ortamında dağıtmak için etkili bir araç haline getirir.