Nvidia ha presentato il sistema SoL-Pi per ridurre i token per gli agenti di intelligenza artificiale

I ricercatori Nvidia hanno sviluppato il sistema SoL-Pi, che riduce il consumo di token degli agenti di programmazione IA di quasi il 49%. Ciò avviene senza compromettere le prestazioni dei modelli, grazie all'ottimizzazione del livello di controllo tra la rete neurale e il suo ambiente di lavoro.

Per creare il sistema, un agente di ricerca specializzato ha testato 152 approcci in oltre 3 000 esecuzioni. L'ottimizzazione riguarda il cosiddetto harness, ovvero l'ambiente e l'insieme di istruzioni attraverso cui l'agente interagisce con il file system e il terminale.

Sui benchmark chiave, la riduzione del consumo di token ha raggiunto il 49% dichiarato, sebbene in altri test i risultati siano stati più modesti. Lo sviluppo mira a ridurre sostanzialmente i costi finanziari per l'esecuzione di compiti lunghi di scrittura e debug del codice da parte di agenti autonomi.

Il nuovo approccio consente di utilizzare più efficacemente la finestra di contesto e di ridurre gli overhead per le richieste di servizio, aspetti critici per il scaling dei sistemi di sviluppo software basati sull'intelligenza artificiale.