I ricercatori hanno valutato la capacità di LLM di tenere traccia dei fatti in sistemi multiagente

I ricercatori hanno condotto un esperimento di simulazione di un'indagine detective, in cui hanno partecipato 8 agenti AI. L'obiettivo del lavoro era verificare la capacità dei modelli di recuperare fatti chiave dai log di interazione in condizioni di alta carico di informazioni.

Durante il test, è emerso che anche i sistemi di monitoraggio più performanti non sono riusciti a estrarre più del 50% dei dati significativi dal log complessivo. I risultati hanno mostrato un divario significativo nell'efficacia tra le diverse architetture nell'analisi di scenari intricati.

Secondo i dati raccolti, il modello GPT-6 Astra ha dimostrato i migliori risultati di precisione tra tutte le soluzioni testate. Allo stesso tempo, il modello Gemini ha mostrato il risultato peggiore, cedendo notevolmente ai concorrenti nella capacità di strutturare le informazioni e identificare le connessioni logiche durante la simulazione.

La metodologia della ricerca ha incluso la creazione di un "rumore" artificiale nei log per testare la resistenza dei modelli alle informazioni non rilevanti. Le metriche ottenute sottolineano le limitazioni attuali dei LLM nelle attività di analisi contestuale a lungo termine e di verifica dei fatti in ambienti multi-agente.

Questo studio indica la necessità di perfezionare i meccanismi di attenzione e memoria nei modelli attuali. I risultati sottolineano che l'aumento del numero di agenti nel sistema non garantisce un aumento della qualità dell'analisi, se il modello non è in grado di filtrare efficacemente il flusso di dati.