I ricercatori hanno presentato il metodo RBS-Attention per accelerare il prefilling di LLM

Un gruppo di ricercatori ha sviluppato RBS-Attention — un metodo di prefilling sparso che risolve il problema del "blurring medio" durante l'elaborazione di contesti lunghi in grandi modelli linguistici. La tecnologia utilizza un sistema di selezione dei blocchi a due rami: il ramo di base determina la rilevanza media, mentre il ramo "di salvataggio" identifica i token che potrebbero essere ignorati erroneamente dai metodi standard di attenzione sparsa.

Il metodo non richiede ulteriore formazione e mantiene la compatibilità con il meccanismo FlashAttention. Durante il test su GPU H100 con un contesto di 128K sul modello Qwen3-30B-A3B-Instruct-2507-FP8, la soluzione ha dimostrato un aumento di velocità di 20,65 volte del prefilling standalone e di 11,92 volte con il motore vLLM. Il tempo di attesa per il primo token (TTFT) è stato ridotto di 5,97 volte.

L'accuratezza del modello con RBS-Attention rimane paragonabile all'attenzione densa. Sul benchmark RULER il modello Qwen3-32B ha ottenuto un punteggio di 88,65 contro 89,52 dell'architettura standard. Ulteriori verifiche della qualità sono state condotte sui set di dati LongBench-v2, InfiniteBench e Video-MME.

L'utilizzo dell'attenzione sparsa consente di ridurre notevolmente i costi computazionali durante la fase di elaborazione del prompt, che è il "collo di bottiglia" quando si lavora con documenti lunghi. Il nuovo approccio consente di adattare dinamicamente la selezione dei blocchi in base allo strato, alla testa dell'attenzione e alla struttura del prompt stesso, rendendolo uno strumento efficace per il deploy di modelli con supporto per contesti lunghi in produzione.