Cactus Compute ha rilasciato una serie di modelli compatti Needle 3

L'azienda Cactus Compute ha presentato la linea di modelli specializzati Needle 3, progettati per l'automazione di compiti su dispositivi con risorse limitate. Il peso dei modelli di rete neurale presentati varia da 8 a 29 MB, il che consente di integrarli in smartphone, dispositivi indossabili e sistemi robotici.

Le caratteristiche tecniche di Needle 2, il precursore della nuova serie, mostrano un'elevata prestazione a livello hardware. Il modello con 45 milioni di parametri e una dimensione di 14 MB è in grado di generare testo a una velocità di oltre 500 token al secondo su un computer monopiatto Raspberry Pi 5. Su smartphone economici con un prezzo inferiore a 200 dollari i tassi di velocità variano da 300 a 700 token al secondo.

I sviluppatori affermano che in termini di efficienza nelle attività di automazione, Needle 3 è paragonabile al modello DeepSeek V4 Flash. Un volume di pesi così ridotto è stato raggiunto grazie a un'ottimizzazione profonda dell'architettura per scenari di utilizzo specifici, in cui è critica la bassa latenza e il minimo consumo di memoria.

Questa versione è orientata agli sviluppatori che creano agenti AI autonomi per l'esecuzione locale. L'utilizzo di modelli simili esclude la necessità di accedere alle API cloud, garantendo la privacy dei dati e il funzionamento del sistema senza una connessione costante alla rete. Le discussioni tecniche dettagliate e i commenti della comunità sono disponibili sulla piattaforma Hacker News.