ESPnet TTS modelini VITS mimarisinde konuşma sentezi için yayınladı

ESPnet ekibi, ESPnet LJSpeech veri setine dayalı olarak eğitilen yeni bir konuşma sentezleme modelini sundu. Sürüm, VITS mimarisine dayanmaktadır ve yüksek doğal ses elde etmek için üretken yarışmacı ağlar ve varyasyonel otokodlayıcıları birleştirir.

Model, 1 saat çalışma süresinde yapılan test sırasında 226 puan değerlendirmesini göstermektedir. Araç完全 olarak ESPnet2 ekosistemine entegre edilmiştir, böylece kullanıcılar sistemi standart paket yöneticisi pip aracılığıyla dağıtabilir veya ses akışı oluşturmak için yerleşik espnet_tts komutlarını kullanabilir.

VITS (Variational Inference with adversarial learning for end-to-end Text-to-Speech) mimarisi, modelin girişteki metni doğrudan dalga formuna dönüştürmesini sağlar ve spektrogram oluşturma ara adımlarını atlar. Bu, işleme sırasında gecikmeleri azaltır ve sentezlenen konuşmadaki prosodi kalitesini artırır.

Verilen sürüm, ESPnet çerçevesini kullanan konuşma tanıma ve sentezleme uygulamaları oluşturan geliştiricilere yöneliktir. Model, Hugging Face platformundaki depodan indirilebilir ve ayrıca belirli görevler için sentez parametrelerini ince ayarlamak için yapılandırma dosyaları sunar.

Güncelleme, ses işleme için önceden eğitilmiş çözümler kütüphanesini genişletir ve metin seslendirme görevleri için kullanıma hazır bir araç sağlar. ESPnet2 içinde VITS kullanmak, yerel uygulamalara kaliteli TTS'yi modeli sıfırdan eğitmeye gerek kalmadan entegre etmeyi kolaylaştırır.