Nvidia ha presentato il framework NeMo Data Designer per dati sintetici

L'azienda Nvidia ha rilasciato NeMo Data Designer (NDD) — un framework open source per la generazione di dati sintetici multimediali. Lo strumento è progettato per creare set di dati che includono testo, codice software, risposte strutturate, immagini ed embedding.

L'architettura di NDD si basa su un formato di configurazione dichiarativo, che consente agli utenti o agli agenti AI di descrivere in dettaglio ogni colonna del dataset. Il sistema supporta una flessibile personalizzazione dei parametri statistici per gestire la diversità dei dati. Il sistema di plug-in integrato consente di aggiungere nuovi tipi di dati e di estendere la funzionalità per compiti specifici.

Il flusso di lavoro in NDD è basato su un ciclo iterativo di "visualizzazione e revisione". Gli utenti possono generare piccoli campioni di record per verificare la qualità, regolare le specifiche e avviare la generazione su larga scala. Durante l'esecuzione, il framework risolve automaticamente le dipendenze, gestisce le chiamate all'API dei modelli e esegue tentativi di ripetizione in caso di errori di richiesta.

I sviluppatori hanno utilizzato NDD per creare modelli della famiglia Nemotron e in una serie di progetti aziendali. I file di configurazione del framework sono artefatti verificabili, il che semplifica la condivisione dei flussi di lavoro e garantisce la riproducibilità dei risultati dell'addestramento. Il codice sorgente del progetto è distribuito sotto licenza Creative Commons Attribution 4.0.

L'adozione di strumenti simili consente di automatizzare la preparazione di campioni di addestramento di alta qualità per modelli specializzati. L'uso di dati sintetici sta diventando uno standard nel settore, consentendo di superare i limiti di accesso ai dati reali etichettati e di accelerare lo sviluppo di soluzioni di dominio.