開發人員推出了openjev-sglang伺服器以供TypeSafe API使用

開發人員推出了 openjev-sglang — 一個實現TypeSafe/Jev協定的專用HTTP伺服器，用于與語言模型進行交互。該項目針對在伺服器環境中與 Qwen3.6-35B-A3B 模型進行高性能工作進行了優化。

解決方案的架構基於 SGLang 引擎，可以支持高級的推理優化方法。系統集成了 radix caching 用于有效地管理上下文和 breakable CUDA graphs，可以在Nvidia圖形處理器上執行計算時最小化開銷。

伺服器的前端部分使用 Rust 語言編寫，保證了高速度的請求處理和內存管理的安全性。項目包括在容器化環境中部署的指南和詳細的API規範，以便與外部應用程序集成。

使用 Qwen3.6-35B-A3B 與 SGLang 結合，可以在處理長令牌序列時實現高吞吐量。TypeSafe協定的實現簡化了在客戶端和伺服器之間交換消息時的數據類型，降低了序列化請求時出錯的可能性。

該工具適用於需要部署支持現代推理加速方法的本地或雲API伺服器的開發人員。項目的源代碼可用于自行編譯和根據具體硬件配置調整緩存參數。