ESPnet bir Conformer mimarisine sahip Çinçe konuşma tanıma modeli yayınladı

ESPnet ekibi, otomatik konuşma tanıma (ASR) için yeni bir modeli sundu, bu model Çince işleme için optimize edilmiştir. Sistem, Conformer mimarisine dayanmaktadır ve WeNetSpeech büyük ölçekli veri kümesiyle eğitilmiştir.

Model, test veri kümesinin türüne bağlı olarak WER (Kelime Hata Oranı) değerlerini %13.4'den %68.0'e kadar göstermektedir. Sistemin eğitimi, özel bir hesaplama kümesinde 1 saat sürmüştür ve bu, projenin dahili ölçütüne göre 12 puan değerlendirmesine ulaşılmasını sağlamıştır.

Çözüm, Çince transkript ve ses akışı işleme görevlerine yöneliktir. Conformer mimarisinin kullanılması, ses sinyalindeki yerel ve küresel bağımlılıklar arasında bir denge sağlar ve bu, tonlu dillerin doğru tanınması için kritik öneme sahiptir.

Model, ESPnet2 ekosisteminin bir parçası olarak entegre edilmeye hazır durumdadır ve bu, konuşma tanıma ve sentez sistemlerinin oluşturulması için araçlar sağlar. Geliştiriciler, önceden eğitilmiş ağırlıkları, kendi özel alanlarında yeniden eğitmek veya hazır transkript hizmetleri dağıtmak için kullanabilirler.