Anthropic ha introdotto i Message Threads per velocizzare il lavoro con contesti lunghi

L'azienda Anthropic ha presentato la funzione Message Threads per il suo Messages API. La nuova soluzione ottimizza il processo di trasferimento dati durante l'utilizzo di chatbot e agenti IA, eliminando la necessità di inviare nuovamente l'intera cronologia della conversazione a ogni nuova richiesta.

Invece di trasmettere il contesto completo del dialogo a ogni passaggio, il sistema ora invia solo i frammenti che sono stati modificati o aggiunti. Questa modifica riduce significativamente il carico sulla rete e accelera l'elaborazione dei dati. Secondo i dati dello sviluppatore, per richieste con un volume compreso tra 500.000 e 1.000.000 di token, il tempo necessario per ricevere il primo token (TTFT) si riduce di circa il 35%.

La tecnologia è rivolta agli sviluppatori che creano applicazioni complesse con lunghe sessioni di conversazione, dove il contesto accumulato rallentava in precedenza la risposta del modello. L'utilizzo di Message Threads consente di aumentare notevolmente la reattività delle interfacce che gestiscono grandi volumi di dati, senza dover accorciare la cronologia del dialogo o sacrificare la qualità delle risposte del modello.