Ricercatori hanno presentato il metodo Metacognitive Steering per il controllo della logica LLM

I ricercatori hanno sviluppato un metodo chiamato Metacognitive Steering, che consente di modificare dinamicamente la strategia di ragionamento delle reti neurali durante la generazione. La tecnologia è finalizzata a migliorare la qualità della ricerca scientifica condotta da agenti autonomi, commutando tra modalità di ricerca, esecuzione e valutazione critica.

Il metodo si basa sull'analisi degli stati interni del modello Kimi 2.6, un sistema con un'architettura mixture-of-experts che conta oltre un trilione di parametri. Utilizzando metodi di decomposizione singolare e analisi dei pesi di attenzione, gli autori hanno identificato una struttura di controllo a bassa dimensionalità situata nei livelli medi della rete neurale. Il controller legge il regime cognitivo attuale del modello e applica interventi a livelli specifici senza la necessità di riaddestramento o modifica dei pesi.

L'efficacia dell'approccio è stata dimostrata sul sistema Columbus-1. L'agente ha identificato con successo otto vulnerabilità nello stack BlueZ, che sono state confermate indipendentemente, e ha progettato e preparato per la produzione un razzo di tre metri con un sistema di atterraggio su motori a propulsione solida. Il metodo consente un'elaborazione più approfondita delle ipotesi e consente all'agente di eliminare autonomamente le opzioni non promettenti durante la risoluzione di complessi problemi di ingegneria.

Questa innovazione cambia l'approccio alla gestione del comportamento dei modelli, passando da semplici prompt a un'influenza diretta sui processi computazionali. Ciò consente di utilizzare Metacognitive Steering per creare sistemi autonomi più affidabili, in grado di autocontrollo e analisi critica dei dati in tempo reale.