開發人員展示了基於DGX Spark的DeepSeek-V4.1-Flash推理配方

開發團隊發布了 LuZ-0.1.7-DeepSeek-v4.1-Flash-DGXspark-TP4-Ring — 一個專門的配方，用于在 4 個節點的 NVIDIA DGX Spark 集群上部署 DeepSeek-V4.1-Flash 模型。

該解決方案針對使用 RoCE 環形網絡架構的最大吞吐量進行了優化。在測試過程中，系統展示了每秒 3436 個令牌 的預填充速度。在處理 16 個並行請求 時，總體解碼速度達到了每秒 460 個令牌。

為了達到這些指標，使用了 TP4（Tensor Parallelism 4）配置，允許有效地在節點之間分配計算負載。整個準備和啟動系統的過程大約需要 5 小時，使得該堆棧適合於在生產環境中快速部署高性能的推理服務器。

通過 RoCE 環形網絡優化網絡交互，消除了使用外部交換機的需要，降低了在 GPU 之間傳輸數據的延遲。這種方法允許 DGX Spark 設備所有者在不增加網絡基礎設施成本的情況下顯著提高與大型語言模型合作的效率。