Allen Institute ha presentato BenchMIRT per l'analisi della qualità dei benchmark

Ricercatori dell'Allen Institute for AI hanno presentato una metodologia chiamata BenchMIRT, progettata per valutare cosa esattamente misurano i moderni benchmark per grandi modelli linguistici. Gli autori hanno analizzato la struttura dei test popolari e hanno individuato dipendenze critiche tra il formato dei compiti e le prestazioni finali.

Nel corso della ricerca, gli esperti hanno applicato un'analisi statistica a 15 popolari benchmark, tra cui MMLU e GSM8K. È emerso che fino al 40% della variabilità dei risultati dei modelli è spiegata non dalle loro capacità di ragionamento, ma dalle peculiarità del formato delle risposte e dalla sensibilità ai modelli dei prompt. L'strumentario consente di valutare quantitativamente l'"inquinamento" dei dati e l'impatto di fattori casuali sul punteggio finale.

Gli sviluppatori di BenchMIRT propongono di utilizzare un nuovo approccio per la decomposizione delle metriche. Invece di valutare il punteggio complessivo, il sistema divide le prestazioni in capacità di estrazione delle conoscenze, inferenza logica e robustezza al cambiamento della formulazione. Ciò consente di individuare i casi in cui il modello ha semplicemente "imparato a memoria" le risposte dal set di dati di training, anziché aver appreso a risolvere i problemi.

I risultati del lavoro mostrano che i metodi di valutazione attuali spesso sovrastimano le capacità dei modelli del 15-25% nei compiti di logica. I ricercatori sottolineano la necessità di passare da set di domande statici a test dinamici che cambiano le condizioni del compito in tempo reale, escludendo la possibilità di un semplice abbinamento con una base di dati.

Questo approccio cambia gli standard di verifica dei sistemi AI, ponendo l'accento sulla trasparenza del processo di valutazione. L'utilizzo della metodologia proposta consentirà agli sviluppatori di determinare più precisamente il reale progresso dei modelli, separando i dati di marketing dalle effettive capacità dei sistemi di generalizzare le conoscenze e di eseguire istruzioni complesse.