開發人員推出了Python工具Dohnuts，適用於本地模型

開發團隊發佈了 Dohnuts — 一個專門的Python工具，旨在處理緊湊的多模態模型。該解決方案針對執行決策任務（如路由請求或評分）在單次傳遞（single pass）中進行優化。

工具已針對在消費級圖形處理器上運行進行優化，允許在不使用雲API的情況下本地部署系統。 Dohnuts 的架構確保了在處理數據時的最小延遲，這對於需要系統立即響應傳入的多模態信號的場景至關重要。

該項目在GitHub上發佈後的前 8 小時 內就獲得了 10 顆星，這表明社區對於本地AI的輕量級解決方案有很高的興趣。原始碼可供集成到現有的數據處理管道中，支持根據用戶的具體硬件限制靈活地調整模型參數。

使用本地工具進行決策可以降低基礎設施成本並提高數據隱私性，方法是排除將信息傳輸到外部伺服器的需要。 Dohnuts 填補了大型LLM和專用分類器之間的空白，提供了多模態分析的準確性和普通硬件上運行速度之間的平衡。