Paradigma Inc 推出了適用於 Limite 架構的 limite-violetto 外掛程式

公司 limite-violetto 釋出了針對 Limite 架構在 vLLM 環境中進行優化的專用插件。該工具旨在提高部署在本地計算資源上的模型推理性能。

要正確運行插件，需要安裝 Python 3.12 和最新版本的 vLLM 0.26.0。同時還需要配置好的 CUDA 和 PyTorch 堆疊，以滿足當前架構的要求。該項目的原始碼已在 GitHub 上公開，並以允許集成到第三方管道的許可證發布。

適配使用該插件的模型已可通過 Hugging Face 平台在 paradigma-inc 組織的個人頁面上下載。開發人員指出，該解決方案旨在降低高負載系統中執行請求的延遲。

實施 limite-violetto 可以讓開發人員更靈活地管理使用 Limite 架構時的 GPU 資源。使用該插件可以減少數據處理的額外開銷，這對於需要每秒高令牌吞吐量的系統至關重要。