開發人員基於GLiFormer推出了自托管API jeff

開發人員推出了 jeff — 一個實現 TypeSafe System One API 的系統，面向本地部署。該工具基於 GLiFormer 的架構，具有 400 萬個參數，並提供選擇、評估和 noul 運算的支持。

該系統設計用于在隔離環境中運行，支持通過 Modal 平台或本地啟動進行部署。要運行該項目，需要 Python 3.12 和包管理器 uv。在測試過程中，該解決方案在 3 小時 內完成任務，取得了 8 分 的成績。

API 的實現允許開發人員在不依賴外部雲提供商的情況下將類型化運算整合到自己的 AI 管道中。使用 GLiFormer 可以在計算複雜性和運算精度之間取得平衡。

該項目旨在創建可預測的模型交互接口，其中嚴格的數據類型是關鍵要求。該系統的本地特性排除了數據傳輸的延遲，允許用戶在其基礎設施內控制整個請求處理周期。