Araştırmacılar CapMem adlı bir AI video bellek değerlendirmesi benchmark'u sundu

Araştırmacılar, uzun egosantrik videoları analiz ederken çok modelli modellerin epizodik hafızayı koruma yeteneğini değerlendirmek için özel bir benchmark olan CapMem'i sundu. Veri kümesi, modern vision-language modellerinin karşılaştığı sınırlı bağlamsal pencere ve yüksek görsel token işleme maliyetleri sorununu çözmeyi amaçlıyor.

Benchmark, toplam 33,7 saat süren 75 video'yu içerir ve elle etiketlenmiştir. Küme, 16 farklı senaryo'yu kapsayan 1.000 çoklu seçim sorusu'nu içerir. Testler, většiliğin modelleri için video akışının doğrudan analizinden daha etkili olduğunu göstermiştir. "Hafıza" olarak metin açıklamalarının (kapşenlerin) kullanılması

20 dakikadan daha uzun videolarla çalışırken, 30 ve 60 saniyelik açıklama pencerelerinin kullanılması, 12 test edilen modelin 10'u ve 12'si için sırasıyla standart VideoQA yöntemlerini aştı. Alt veri kümesinde, Qwen ailesinin altı modeli kullanılarak ortalama cevap doğruluğu sırasıyla 3,22 ve 2,55 puan arttı.

Araştırmacılar ayrıca, açıklamalara dayalı bir "ara ve doğrula" mekanizması uyguladılar, bu da cevapların doğruluğunu 5,3 puan daha da artırdı. Araştırma sonuçları, görsel verilerin metin temsiliğinin uzun vadeli epizodik akıl yürütme için uygulanabilir bir yöntem olduğunu doğrulamaktadır. Çalışma CC BY 4.0 lisansı altında yayınlandı.