I ricercatori hanno presentato il benchmark CapMem per valutare la memoria dell'intelligenza artificiale in video

I ricercatori hanno presentato CapMem — un benchmark specializzato per valutare la capacità dei modelli multimediali di mantenere la memoria episodica durante l'analisi di lunghi video egocentrici. Il set di dati è progettato per risolvere il problema della finestra di contesto limitata e dei costi di elaborazione elevati dei token visivi, con cui si confrontano i moderni modelli vision-language.

Il benchmark include 75 video della durata complessiva di 33,7 ore, annotati manualmente. Il set di dati comprende 1 000 domande a scelta multipla, che coprono 16 scenari diversi. I test hanno mostrato che l'utilizzo di descrizioni testuali (didascalie) come "memoria" è più efficace dell'analisi diretta del flusso video per la maggior parte dei modelli.

Quando si lavora con video della durata di più di 20 minuti, l'utilizzo di finestre di descrizione di 30 e 60 secondi ha consentito di superare i metodi standard di VideoQA per 10 dei 12 e 8 dei 12 modelli testati, rispettivamente. Su un subset di dati che utilizza sei modelli della famiglia Qwen, la precisione media delle risposte è aumentata di 3,22 e 2,55 punti percentuali.

Gli autori hanno anche implementato un meccanismo di "ricerca e verifica" basato sulle descrizioni, che aumenta ulteriormente la precisione delle risposte di 5,3 punti. I risultati della ricerca confermano che la rappresentazione testuale dei dati visivi è un metodo valido per il ragionamento episodico a lungo termine. Il lavoro è pubblicato sotto licenza CC BY 4.0.