Hugging Face ha presentato una metodica di ottimizzazione dei benchmark del riconoscimento vocale

Il team di Hugging Face ha pubblicato i risultati di una ricerca sull'ottimizzazione del processo di valutazione dei sistemi di riconoscimento vocale automatico (ASR). Gli specialisti hanno analizzato l'impatto di diversi parametri di decodifica e strategie di calcolo sui risultati finali di precisione e velocità di elaborazione dei dati audio.

Durante il test sono state utilizzate modelli della famiglia Whisper, per i quali sono stati registrati cambiamenti nella metrica WER (Word Error Rate) quando si variava la dimensione della ricerca del raggio (beam size) e si utilizzavano diversi algoritmi di ricerca. I ricercatori hanno stabilito che l'ottimizzazione dei parametri di decodifica consente di ridurre il tempo di inferenza del 25-40% senza perdita di qualità della trascrizione sui set di dati standard come LibriSpeech.

L'analisi tecnica ha mostrato che l'utilizzo di Flash Attention e nuclei specifici per CUDA garantisce un aumento della larghezza di banda di 1,8 volte quando si lavora con file audio lunghi. L'applicazione della quantizzazione a INT8 ha consentito di ridurre il consumo di memoria video del 50%, mantenendo al tempo stesso la precisione del riconoscimento entro 0,5% rispetto ai valori originali FP16.

La metodologia include l'utilizzo di strumenti specializzati per il profilo dei ritardi in ogni fase della pipeline di elaborazione. Gli autori sottolineano che la scelta della dimensione del batch ottimale e della strategia di caching degli stati del modello è un fattore critico per la scalabilità dei sistemi ASR in produzione.

Questa ricerca fornisce agli sviluppatori configurazioni pronte per l'ottimizzazione dei modelli di riconoscimento vocale per specifiche limitazioni hardware. I dati ottenuti consentono di utilizzare in modo più efficiente le risorse di calcolo durante la distribuzione dei modelli su infrastrutture GPU.