研究人員提出了一個名為WearableQA的benchmark，用于評估智能手錶的數據分析能力

研究團隊提出了一個名為 WearableQA 的專門性benchmark，用于測試大型語言模型解釋健身追蹤器數據的能力。在測試中，14個流行的模型被分析了其處理心率、睡眠質量和身體活動數據的能力，時間跨度為半年。

結果顯示了人工智慧的系統性差距：模型在執行基本的計算任務（如尋找趨勢或在數字序列中定位異常）時表現出低精度。特別是，GPT-4o 僅在25%的情況下成功完成計算。同時，相同的模型在臨床數據解釋方面表現出更好的結果，得出關於健康風險的結論，精度是之前的兩倍。

研究作者指出，目前的LLM架構更適合語義分析，而不是精確的時間序列處理。这在使用人工智慧作為個人醫療助理時存在風險，因為模型可能基於錯誤解釋或錯誤計算的原始數據得出正確的結論。

WearableQA benchmark允許開發人員評估模型在處理個人遙測數據時的錯誤容忍度。獲得的數據表明需要實施專門的工具來預處理數字指標，然后再將其傳遞給語言模型。