開發人員推出了Splash以加速Apple Silicon上的Qwen

團隊 Splash 釋出了本地推理引擎，針對 Apple Silicon 晶片進行優化。該工具專注於運行 Qwen 家族的模型，並提供了相比標準執行方法 2 倍 的性能提升。

高速運行是通過使用 推測性解碼 技術實現的。引擎允許部署本地伺服器，該伺服器通過 API 接收請求，與 OpenAI 和 Anthropic 的標準兼容。預設情況下，服務運行在端口 8000 上，這簡化了與現有客戶端應用程序和庫的集成。

在內部性能測試中，系統在 5 小時 的連續負載下執行任務，展示了 10 分 的成績。軟件專門為 Apple Silicon 架構開發，最大限度地利用了 Apple 處理器的神經核心和統一記憶體的功能。

解決方案允許開發人員在本地運行現代 LLM，無需訪問雲 API，同时保持熟悉的交互界面。使用 Qwen 連同優化的引擎可以降低文本生成的延遲，這對於交互式 AI 工具和本地代理至關重要。