研究人員提出CapMem評估AI視訊記憶力的benchmark

研究人員提出CapMem，這是一種專門的benchmark，用于評估多模態模型在分析長時間的自我中心視頻時保持情節記憶的能力。數據集旨在解決當前視覺語言模型面臨的有限上下文窗口和高視覺代碼處理成本問題。

該benchmark包括75個視頻，總長33.7小時，手動標註。數據集包括1,000個多選題，涵蓋16種不同場景。測試結果表明，使用文本描述（字幕）作為「記憶」比直接分析視頻流對於大多數模型更有效。

在處理長度超過20分鐘的視頻時，使用30秒和60秒的描述窗口分別使10個和8個在12個測試模型中超越了標準的VideoQA方法。對於使用六個Qwen模型家族的數據子集，平均答案準確率分別增加了3.22和2.55個百分點。

作者還實施了一種基於描述的「搜索和驗證」機制，進一步提高了答案準確率5.3個百分點。研究結果證實，視覺數據的文本表示是一種可行的長期情節推理方法。該工作在CC BY 4.0許可下發布。