Anthropic 導入 Message Threads 以加速長文本處理

Anthropic 為其 Messages API 推出了 Message Threads 功能。這項新解決方案優化了與聊天機器人和 AI 代理互動時的數據傳輸流程，無需在每次發送新請求時重複傳輸整個對話歷史。

系統現在不再於每個階段傳輸完整的對話上下文，而是僅傳輸已更改或新增的部分。此變更顯著降低了網路負載並加快了數據處理速度。根據開發商數據，對於 50 萬至 100 萬個 token 的請求，首個 token 的生成時間 (TTFT) 約可縮短 35%。

該技術專為開發複雜應用程式的開發者設計，特別是那些因累積的上下文導致模型回應變慢的長對話場景。使用 Message Threads 可在無需縮減對話歷史或犧牲模型回應品質的情況下，大幅提升處理大量數據介面的響應速度。