I ricercatori hanno presentato un metodo per la modifica diretta dei pesi delle reti neurali

I ricercatori del MIT hanno presentato il concetto di Weight Space Programming, che consente ai modelli linguistici di leggere e modificare direttamente i parametri di altre reti neurali. Durante l'esperimento, il modello Astra ha dimostrato la capacità di analizzare l'architettura e correggere i pesi del modello Qwen3.5-0.8B per risolvere compiti specifici.

Il risultato principale del lavoro è stato il miglioramento delle capacità matematiche del modello target di oltre il 500%. Una caratteristica importante dell'approccio è l'assenza di classici cicli di addestramento o discesa del gradiente: Astra esegue una "modifica" dei pesi direttamente, correggendo errori specifici nella struttura della rete neurale. Ciò consente di adattare il comportamento del modello a compiti circoscritti con un dispendio computazionale minimo.

La tecnologia apre la strada alla creazione di sistemi auto-ottimizzanti, in cui un modello funge da "architetto" per un altro. Invece di eseguire il fine-tuning su enormi moli di dati, il sistema agisce puntualmente sui pesi, il che potrebbe cambiare radicalmente gli approcci alla configurazione di modelli compatti. I dettagli dell'esperimento e le specifiche tecniche di implementazione sono disponibili nella discussione su Hacker News.