Cactus Compute ha presentato il modello compatto needle3 per dispositivi mobili

L'azienda Cactus Compute ha rilasciato needle3 — un modello fondamentale specializzato progettato per funzionare direttamente su dispositivi mobili. Il peso del modello varia da 9 a 35 MB, il che consente di integrarlo in applicazioni con risorse hardware limitate senza la necessità di accedere a server cloud.

L'architettura di needle3 è ottimizzata per eseguire tre compiti chiave: chiamata di strumenti esterni, estrazione di dati strutturati e creazione di embedding di testo. Durante i test interni, il modello ha dimostrato una valutazione di 9 punti nell'esecuzione dei compiti in 1 ora, il che, secondo gli sviluppatori, gli consente di superare gli analoghi più grandi in scenari di utilizzo altamente specializzati.

Il modello supporta una regolazione flessibile tramite fine-tuning e metodi di quantizzazione, il che semplifica la sua adattabilità a specifiche esigenze aziendali. Grazie alle dimensioni minime, needle3 garantisce una bassa latenza nell'elaborazione delle richieste, mantenendo al contempo un'elevata precisione nell'estrazione di informazioni da dati non strutturati.

Il rilascio è rivolto agli sviluppatori di software mobile che richiedono l'integrazione di funzionalità AI con la tutela della privacy dei dati degli utenti. L'utilizzo di calcoli locali esclude la trasmissione di informazioni riservate a server esterni, il che rappresenta un requisito critico per molte applicazioni aziendali e di consumo.