SenseTime ha rilasciato il modello multimoale SenseNova-U1.5-8B-MoT
L'azienda SenseNova-U1.5-8B-MoT-SFT ha presentato una nuova architettura progettata per lavorare con contenuti visivi. Il modello si basa sull'approccio Mixture-of-Tokens (MoT) e ottimizzato per eseguire compiti di generazione e modifica di immagini.
I sviluppatori hanno implementato la possibilità di output in risoluzione 4K, che distingue il sistema da analoghi con un numero simile di parametri. Il modello dispone di 8 miliardi di parametri ed è stato sottoposto alla fase SFT (Supervised Fine-Tuning) per migliorare la precisione nel seguire le istruzioni dell'utente durante la creazione di grafica.
L'implementazione tecnica del modello consente di utilizzarlo come sistema multimmidale nativo, in grado di elaborare richieste visive complesse. I pesi del modello e la documentazione per la sua distribuzione sono già disponibili per il download in accesso aperto sulla piattaforma Hugging Face.
L'integrazione dell'architettura MoT consente di distribuire in modo più efficiente le risorse di calcolo durante l'elaborazione dei token visivi. Questa soluzione è finalizzata a ridurre i ritardi nella generazione di immagini ad alta risoluzione, mantenendo allo stesso tempo le dimensioni compatte del modello per l'esecuzione locale su hardware specializzato.
La nuova release estende l'ecosistema degli strumenti per lavorare con contenuti generativi, offrendo agli sviluppatori uno strumento flessibile per integrare le funzioni di modifica delle immagini in applicazioni di terze parti. Il codice sorgente e i pesi del modello sono distribuiti per scopi di ricerca e applicativi.
