I ricercatori hanno presentato il benchmark WearableQA per valutare l'analisi dei dati dei smartwatch

Il team di ricerca ha presentato WearableQA — un benchmark specializzato per testare la capacità dei grandi modelli linguistici di interpretare i dati dei fitness tracker. Durante il test, 14 modelli popolari sono stati analizzati per le loro abilità nel lavorare con i dati del battito cardiaco, della qualità del sonno e dell'attività fisica nel corso di un semestre.

I risultati hanno mostrato un divario sistemico nelle capacità dell'IA: i modelli mostrano una bassa precisione nell'esecuzione di compiti computazionali di base, come la ricerca di tendenze o la rilevazione di anomalie nelle serie numeriche. In particolare, GPT-4o è riuscita a eseguire i calcoli con successo solo nel 25% dei casi. Tuttavia, gli stessi modelli mostrano risultati due volte più alti nell'interpretazione clinica dei dati, formulando conclusioni sui rischi per la salute.

Gli autori della ricerca notano che l'attuale architettura LLM è meglio adattata all'analisi semantica che all'elaborazione precisa delle serie temporali. Ciò crea rischi quando si utilizza l'IA come assistente medico personale, poiché il modello può trarre conclusioni corrette sulla base di dati originali interpretati o calcolati in modo errato.

Il benchmark WearableQA consente agli sviluppatori di valutare la robustezza dei modelli agli errori quando si lavora con la telemetria personale. I dati ottenuti indicano la necessità di implementare strumenti specializzati per l'elaborazione preliminare dei dati numerici prima di trasferirli al modello linguistico.