ESPnet 釋出了基於 VITS 架構的 TTS 模型用於語音合成

ESPnet團隊發表了一款以 LJSpeech 資料集訓練的新語音合成模型。此版本採用 VITS 架構，結合生成對抗網路與變分自動編碼器，讓合成語音聽起來更加自然。

模型在運行 1 小時的測試中獲得 226 分。此工具已完整整合至 ESPnet2 生態系，使用者可透過標準套件管理工具 pip部署系統，或使用內建的 espnet_tts指令生成音訊串流。

VITS（Variational Inference with adversarial learning for end-to-end Text-to-Speech）架構可讓模型直接將輸入文字轉換為波形，省去中間的頻譜圖生成步驟。這能縮短處理延遲，並提升合成語音的韻律品質。

此版本適用於使用 ESPnet框架開發語音辨識與合成應用系統的開發者。模型可從 Hugging Face平台上的儲存庫下載，其中也提供設定檔，可依特定任務微調合成參數。

此次更新擴充了語音預訓練方案庫，提供可直接使用的文字轉語音工具。透過在 ESPnet2中採用 VITS，開發者能更輕鬆地在本機應用程式中導入高品質 TTS，無須從頭訓練模型。