Geliştiriciler RTX 5090'da uzun bağlamla çalışmayı hızlandırdı

Fast-long-context projesini sunan entusiastlar, fast-long-context projesi ile çalışma kontekst penceresini RTX 5090 ekran kartlarında 256K tokenlere kadar genişletmeyi mümkün kılıyor. Çözüm, bellek işlemlerini optimize eden SGLang çerçevesi için bir yama olarak uygulanıyor.

Sistem, NVFP4 formatındaki ağırlıkları ve KV-önbelleği kullanıyor, bu da performansı korurken yüksek veri yoğunluğunu sağlıyor. Belirtilen donanım上的 testlerde, hız 240-300 token/saniyeye ulaşıyor. Araç çalışması için Linux işletim sistemi ve NVIDIA mimarisine sahip bir grafik hızlandırıcı gerekiyor.

Teknoloji, büyük veri kümelerini sunucu kümeleri olmadan işleyen geliştiricilere yöneliktedir. NVFP4 kullanımı, tüketici GPU'lerinin donanım kaynakları tarafından daha önce sınırlanan uzun dizilerle çalışabilme olanağını korurken video belleği gereksinimlerini önemli ölçüde azaltmaya olanak tanır.

Proje açık bir depoda mevcuttur ve SGLang ortamının önceden yapılandırılmasını gerektirir. Bu yaklaşım, derin kontekst analizini gerçek zamanlı olarak gerektiren görevler için yeni ekran kartlarının potansiyelini etkili bir şekilde kullanmayı sağlar.