Cactus Compute 發佈了一系列緊湊型的Needle 3模型

公司 Cactus Compute 推出了針對自動化任務的新型號 Needle 3，適用於資源有限的設備。所呈現的神經網路大小從 8 到 29 MB，可以整合到智慧型手機、可穿戴電子設備和機器人系統中。

前一代 Needle 2 的技術規格表明了高性能的硬體水平。具有 45 萬個參數 和 14 MB 大小的模型可以在 Raspberry Pi 5 單板計算機上以每秒 500 個令牌 的速度生成文本。在低於 $200 的預算智慧型手機上，速度指標從 300 到 700 個令牌每秒 不等。

開發人員聲稱，針對自動化任務，Needle 3 的效率與 DeepSeek V4 Flash 相當。如此小的模型大小是通過對特定使用場景進行深度優化以實現的，在這些場景中，低延遲和最小的運行記憶體消耗至關重要。

此版本針對的是為本地執行創建自主 AI 代理的開發人員。使用此類模型可以排除對雲端 API 的需求，確保數據隱私和系統在沒有持續網絡連接的情況下運行。詳細的技術討論和社群反饋可在 Hacker News 平台上找到。