開發人員在RTX 5090上加速了長上下文的運作

愛好者們提出了一個名為 fast-long-context 的項目，該項目允許在 RTX 5090 顯示卡上將工作內容窗口擴展到 256K 個令牌。該解決方案以對於 SGLang 框架的補丁形式實現，該框架在執行推理時優化了內存的使用。

系統使用 NVFP4 格式的權重和 KV 快取，這保證了在保持性能的情況下實現高數據密度。在指定設備上的測試中，生成速度達到 240–300 個令牌每秒。要使用此工具，需要 Linux 作業系統和 NVIDIA 架構的圖形加速器。

該技術面向需要在不使用伺服器叢集的情況下處理大量數據的開發人員。使用 NVFP4 可以大大降低對顯示記憶體的需求，同时保留處理長序列的能力，這之前受到消費級 GPU 硬件資源的限制。

該項目在開源存儲庫中可用，並需要預先配置 SGLang 環境。這種方法可以有效地利用新顯示卡的潛力來執行需要在實時中進行深度上下文分析的任務。