Hugging Face konuşma tanıma benchmark'lerinin optimizasyon yöntemini sundu

Hugging Face ekibi, otomatik konuşma tanıma sistemlerinin (ASR) değerlendirme sürecinin optimizasyonu konusunda bir araştırma yayınladı. Uzmanlar, çeşitli kod çözme parametreleri ve hesaplama stratejilerinin nihai doğruluk ve ses verisi işleme hızına etkilerini analiz etti.

Test sırasında Whisper ailesine ait modeller kullanıldı ve arama búsqueda büyüklüğü (beam size) ve farklı arama algoritmalarının kullanımı değiştirildiğinde WER (Kelime Hata Oranı) metriğindeki değişiklikler kaydedildi. Araştırmacılar, kod çözme parametrelerinin optimizasyonunun, LibriSpeech gibi standart veri setlerinde transkript kalitesini kaybetmeden推理 süresini %25-40 azaltabileceğini belirledi.

Teknik analiz, Flash Attention ve CUDA için özel çekirdeklerin kullanılmasının, uzun ses dosyaları ile çalışırken bant genişliğini 1.8 kat artırdığını gösterdi. INT8'e kadar kuantizasyon, video bellek tüketimini %50 azaltırken, tanıma doğruluğunu FP16'nin orijinal değerlerinden %0.5 içinde tutmayı sağladı.

Yöntem, işleme konveyerinin her aşamasındaki gecikmeleri profillemek için özel araçların kullanılmasını içerir. Yazarlar, optimal toplu işleme boyutunun ve model durumları önbelleğe alma stratejisinin üretim için ASR sistemlerini ölçeklendirme açısından kritik bir faktör olduğunu vurgulamaktadır.

Bu araştırma, geliştiricilere donanımsal kısıtlamalara bağlı olarak konuşma tanıma modellerini ayarlamak için hazır yapılandırmalar sağlar. Elde edilen veriler, modelleri GPU altyapısında dağıtırken hesaplama kaynaklarını daha etkili bir şekilde kullanmayı sağlar.