Gli sviluppatori hanno accelerato il lavoro con un lungo contesto su RTX 5090

Gli appassionati hanno presentato il progetto fast-long-context, che consente di estendere la finestra di contesto lavorativa fino a 256K token sulle schede grafiche RTX 5090. La soluzione è implementata come patch per il framework SGLang, che ottimizza l'utilizzo della memoria durante l'esecuzione dell'inferenza.

Il sistema utilizza pesi e cache KV nel formato NVFP4, garantendo un'elevata densità dei dati mantenendo le prestazioni. Durante i test su tale attrezzatura, la velocità di generazione raggiunge 240-300 token al secondo. Per utilizzare lo strumento è richiesta un sistema operativo Linux e la presenza di un acceleratore grafico di architettura NVIDIA.

La tecnologia è orientata agli sviluppatori che devono elaborare grandi quantità di dati senza utilizzare cluster server. L'utilizzo di NVFP4 consente di ridurre notevolmente i requisiti di memoria video, mantenendo al contempo la possibilità di lavorare con sequenze lunghe, che in precedenza era limitata dalle risorse hardware delle GPU consumer.

Il progetto è disponibile in un repository aperto e richiede una configurazione preliminare dell'ambiente SGLang. Questo approccio consente di utilizzare efficacemente il potenziale delle nuove schede grafiche per compiti che richiedono un'analisi approfondita del contesto in tempo reale.