研究人員提出Cache-to-Cache方法，實現LLM之間的直接數據傳輸

一組研究人員提出了一種新的直接語義通信方法，稱為 Cache-to-Cache (C2C)，它允許大型語言模型之間直接傳遞信息，無需通過文本生成和解析的階段。這項技術通過合併KV緩存來實現，從而繞過了傳統的文本令牌生成和解析階段。

這種方法的基礎是使用一種專門的神經網絡，該網絡執行模型之間的緩存狀態合併。根據測試結果，這種方法可以提高回答的準確度，相比傳統的文本格式數據交換，準確度提高了 6.4-14.2%。此外，該架構還可以實現 2.5倍 的上下文傳遞加速。

直接與KV緩存合作可以消除令牌化和去令牌化的額外開銷，這些開銷在標準的API交互中是不可避免的。這種方法針對多個模型需要交換複雜的內部數據表示而不失去語義完整性的情景。詳細的技術規格和基準測試結果發表在 科學論文 中。

這項開發為創建更有效的多代理系統鋪平了道路，在這些系統中，LLM可以在「原始」向量激活級別上進行交互。這使得可以降低分佈式AI系統中的延遲，在這些系統中，節點之間的上下文交換速度至關重要。