Araştırmacılar akıllı saatlerden veri analizinin değerlendirilmesi için WearableQA benchmark'ini sundu

Bir araştırma ekibi, büyük dil modellerinin fitness takip cihazlarından gelen verileri yorumlama becerisini değerlendirmek için özel bir kıyaslama testi olan WearableQA'yı tanıttı. Testler kapsamında 14 popüler modelin altı aylık döneme ait nabız, uyku kalitesi ve fiziksel aktivite verileriyle çalışma becerileri incelendi.

Sonuçlar, yapay zekânın yeteneklerinde sistematik bir açığa işaret etti: Modeller, trendleri bulma veya sayısal dizilerdeki anomalileri tespit etme gibi temel hesaplama görevlerinde düşük doğruluk gösteriyor. Örneğin GPT-4o, hesaplamaları vakaların yalnızca %25’inde doğru biçimde yaptı. Buna karşılık aynı modeller, verileri klinik açıdan yorumlama ve sağlık risklerine ilişkin çıkarımlarda bulunma konusunda iki kat daha yüksek başarı gösteriyor.

Araştırmanın yazarları, mevcut LLM mimarisinin anlamsal analize, zaman serilerinin hassas biçimde işlenmesine kıyasla daha uygun olduğunu belirtiyor. Bu durum, yapay zekânın kişisel bir sağlık asistanı olarak kullanılmasında risk oluşturuyor; çünkü model, yanlış yorumlanan veya yanlış hesaplanan temel verilere dayanarak doğru çıkarımlarda bulunabilir.

WearableQA kıyaslama testi, geliştiricilerin kişisel telemetri verileriyle çalışırken modellerin hatalara karşı dayanıklılığını değerlendirmesine olanak tanıyor. Elde edilen veriler, sayısal göstergeleri dil modeline aktarmadan önce ön işleme tabi tutacak özel araçların devreye alınması gerektiğine işaret ediyor.