ESPnet ha rilasciato un modello TTS sulla architettura VITS per la sintesi vocale

Il team di ESPnet ha presentato un nuovo modello di sintesi vocale, addestrato sul set di dati LJSpeech. Il rilascio si basa sull'architettura VITS, che combina reti generative e variationali per raggiungere un'elevata naturalità del suono.

Il modello ha ottenuto un punteggio di 226 punti, raggiunto durante il test in 1 ora di lavoro. Lo strumento è completamente integrato nell'ecosistema ESPnet2, consentendo agli utenti di distribuire il sistema tramite il gestore di pacchetti standard pip o utilizzare i comandi integrati espnet_tts per generare un flusso audio.

L'architettura VITS (Variational Inference with adversarial learning for end-to-end Text-to-Speech) consente al modello di convertire direttamente il testo di input in forma d'onda, saltando i passaggi intermedi di generazione della spettrografia. Ciò riduce i ritardi nell'elaborazione e migliora la qualità della prosodia nella voce sintetizzata.

Questo rilascio è rivolto agli sviluppatori che utilizzano il framework ESPnet per creare sistemi di riconoscimento e sintesi vocale. Il modello è disponibile per il download nel repository sulla piattaforma Hugging Face, dove sono anche presenti file di configurazione per regolare i parametri di sintesi per specifiche attività.

L'aggiornamento estende la libreria di soluzioni pre-addestrate per il lavoro con la voce, fornendo uno strumento pronto all'uso per le attività di doppiaggio del testo. L'utilizzo di VITS all'interno di ESPnet2 semplifica l'integrazione di un TTS di alta qualità nelle applicazioni locali senza la necessità di addestrare il modello da zero.