Cactus Compute 推出了針對行動裝置的緊湊型模型 needle3

公司 Cactus Compute 針對行動裝置推出了 needle3 ，這是一種專門為行動裝置設計的基礎模型。模型的大小從 9 到 35 MB 不等，因此可以在硬體資源有限的應用程式中整合，不需要存取雲端伺服器。

needle3 的架構針對三個主要任務進行了最佳化：呼叫外部工具、結構化資料擷取和建立文字嵌入。在內部測試中，模型在 1 小時 內完成任務，獲得 9 分 的評分，據開發人員稱，這使其在特定使用場景中超越了更大型的類似模型。

模型支援通過 fine-tuning 和量化方法進行靈活配置，使其更容易適應特定的商業任務。由於模型大小最小，needle3 保證了低延遲的請求處理同時保持高精度的非結構化資料擷取。

針對需要在保護用戶資料隱私的同時實現 AI 功能的行動應用開發人員，針對這些開發人員進行了針對性的發佈。使用本地計算可以排除將機密資訊傳輸到外部伺服器，這是許多企業和消費者應用程式的關鍵要求。