XGENlabs ha presentato il modello interattivo XGEN-JING

Il team XGEN-JING ha rilasciato un modello omonimo per la generazione di video e audio in prima persona. Il sistema è progettato per simulare la navigazione e l'interazione con gli oggetti in tempo reale.

La base dell'architettura è il modello MiniMax-H3. Gli sviluppatori hanno fornito la versione JING-Flash-v1, che è ottimizzata per lavorare con ritardi bassi. Il modello supporta il controllo tramite tastiera, consentendo all'utente di influenzare direttamente la traiettoria del movimento e le azioni dell'agente virtuale nel frame.

Per generare contenuti, il sistema utilizza immagini di riferimento come contesto. Nel repository del progetto è stato pubblicato il codice completo per l'inferenza, nonché un set di istruzioni per la creazione di prompt per controllare il comportamento del modello. Tutti gli strumenti sono disponibili per la distribuzione e il test locale.

La tecnologia è orientata alle attività che richiedono una visione egocentrica, come l'addestramento alla robotica o la creazione di ambienti interattivi. L'utilizzo di JING-Flash-v1 consente di generare sequenze in cui l'audio è sincronizzato con i cambiamenti visivi causati dalle azioni dell'utente.

Il rilascio estende le possibilità dei sistemi generativi nel campo del video interattivo, passando dalla visione passiva al controllo attivo dell'ambiente. Ciò semplifica la creazione di set di dati di addestramento per agenti autonomi che operano in condizioni di prima persona.