I ricercatori hanno insegnato a GPT-6 Astra a modificare direttamente i pesi di altri modelli

I ricercatori del MIT hanno presentato un metodo che consente al modello GPT-6 Astra di modificare direttamente i pesi di altre reti neurali senza la necessità del tradizionale processo di fine-tuning.

Durante l'esperimento, il modello Astra ha ottimizzato con successo Qwen, aumentando la precisione nella risoluzione di problemi matematici dal 7,9% al 48,1%. Per ottenere tale risultato è stato necessario modificare solo lo 0,016% del numero totale di pesi del modello target. Questo approccio consente di apportare correzioni mirate al comportamento delle reti neurali, evitando i costi computazionali standard dell'addestramento.

Nonostante l'elevata efficienza, la tecnologia presenta limiti ben definiti e non rappresenta una soluzione universale per tutti i tipi di architetture. Il metodo dimostra la possibilità di un intervento diretto nella struttura delle reti neurali, il che potrebbe semplificare i processi di ottimizzazione e configurazione dei modelli in futuro.