Ricercatori hanno presentato il metodo Cache-to-Cache per il trasferimento diretto di dati tra LLM

Un gruppo di ricercatori ha presentato Cache-to-Cache (C2C) — un nuovo metodo di comunicazione semantica diretta tra grandi modelli linguistici. La tecnologia consente di trasmettere informazioni direttamente attraverso l'unione dei cache KV, saltando la fase di generazione e successivo parsing dei token di testo.

Il metodo si basa sull'utilizzo di una rete neurale specializzata che esegue la fusione degli stati del cache tra i modelli. Secondo i risultati dei test, questo approccio garantisce un aumento dell'accuratezza delle risposte del 6.4-14.2% rispetto allo scambio di dati tradizionale in formato testuale. Inoltre, l'architettura consente di raggiungere un accelerazione di 2,5 volte del processo di trasferimento del contesto tra gli agenti.

Il lavoro diretto con il cache KV esclude gli oneri di tokenizzazione e detokenizzazione, inevitabili nell'interazione API standard. Il metodo è orientato verso scenari in cui più modelli devono scambiare complesse rappresentazioni interne dei dati senza perdita di integrità semantica. Le specifiche tecniche dettagliate e i risultati dei benchmark sono stati pubblicati nel lavoro scientifico.

Lo sviluppo apre la strada alla creazione di sistemi multi-agente più efficienti, in cui i LLM possono interagire a livello di "vettori grezzi" di attivazione. Ciò consente di ridurre i ritardi nei sistemi AI distribuiti, in cui la velocità di scambio del contesto tra i nodi di elaborazione delle informazioni è criticamente importante.