L'Università di Stanford ha rilevato una rapida obsolescenza dei lavori scientifici sulle LLM

I ricercatori dell'Università di Stanford hanno condotto un'analisi sulla velocità con cui diventano obsoleti i lavori accademici dedicati ai modelli linguistici di grandi dimensioni. Hanno testato 50 affermazioni frequentemente citate sulle LLM su 20 modelli commerciali e open source attuali.

I risultati hanno mostrato che il 44 percento delle conclusioni verificate ha già perso la sua validità, mentre un altro 34 percento si è notevolmente indebolito. Il ciclo di vita medio di un'affermazione scientifica nel campo dell'intelligenza artificiale generativa è di soli 15,7 mesi.

Le ipotesi e le affermazioni su ciò che i modelli non sono in grado di fare sono quelle che invecchiano più rapidamente. Il costante e rapido aggiornamento delle architetture e dei metodi di addestramento fa sì che la base teorica inizi a rimanere indietro rispetto all'implementazione pratica.

I dati ottenuti dimostrano ai professionisti e ai ricercatori la necessità di una revisione costante dei benchmark e dei limiti di sicurezza. Affidarsi a lavori accademici consolidati degli anni passati durante la progettazione di nuovi sistemi sta diventando inefficiente.