Lo sviluppatore ha presentato Mini-AGI con un addestramento su 8 GB di VRAM

Lo sviluppatore ha presentato Mini-AGI — un modello sperimentale con un'architettura di apprendimento continuo, in grado di funzionare su attrezzature consumer con 8 GB VRAM. Il progetto è orientato al lavoro con livelli di dati a byte e all'ottimizzazione delle risorse con una memoria video limitata.

La caratteristica chiave del sistema è il meccanismo di caricamento dei pesi dal disco, che consente di aggirare le limitazioni hardware durante l'esecuzione dei calcoli. Il modello utilizza una profondità adattiva e un sistema di instradamento degli esperti (MoE), garantendo una distribuzione dinamica del carico di calcolo durante il processo di apprendimento.

Al momento, il progetto è posizionato come un esperimento di ricerca, piuttosto che come un concorrente dei modelli di frontiera. Il codice sorgente è disponibile in un repository aperto, dove si discutono anche le decisioni architettoniche e i metodi di ottimizzazione della memoria per l'esecuzione locale delle reti neurali.

L'implementazione tecnica di Mini-AGI dimostra la possibilità di implementare algoritmi di apprendimento complessi su hardware accessibile. I dettagli dell'implementazione e le prestazioni attuali del modello sono discussi nella comunità professionale su Hacker News.

Lo sviluppo di soluzioni simili consente di ridurre la soglia di ingresso per l'apprendimento delle reti neurali, che richiedevano in precedenza potenze di server. L'utilizzo del caricamento dei pesi e dei layer adattivi apre la strada alla creazione di sistemi più compatti ed efficienti, in grado di riapprendere in tempo reale senza significative spese per l'infrastruttura.