Araştırmacılar LLM arasında doğrudan veri iletimi için Cache-to-Cache yöntemini sundu

Araştırmacılar grubu, büyük dil modelleri arasında doğrudan semantik iletişim için Cache-to-Cache (C2C) adlı yeni bir yöntem sundu. Teknoloji, KV-önbelleklerinin birleştirilmesi yoluyla metin tokenlerinin oluşturulması ve sonraki ayrıştırma aşamasını atlayarak bilgileri doğrudan iletmeye olanak tanır.

Yöntemin temelinde, modeller arasındaki önbellek durumlarını birleştiren özel bir sinir ağı kullanılması yer alır. Test sonuçlarına göre, bu yaklaşım geleneksel metin formatındaki veri alışverişi ile karşılaştırıldığında 6.4-14.2% oranında cevapların doğruluğunu artırır. Ayrıca, mimari, ajanlar arasındaki bağlam aktarım sürecini 2,5 kat hızlandırır.

KV-önbelleği ile doğrudan çalışma, standart API etkileşiminde kaçınılmaz olan tokenleştirme ve detokenleştirme maliyetlerini ortadan kaldırır. Yöntem, birden fazla modelin karmaşık iç veri temsililerini semantik bütünlüğü kaybetmeden paylaşması gereken senaryolara yöneliktir. Ayrıntılı teknik özellikler ve benchmark sonuçları bilimsel çalışmada yayımlanmıştır.

Geliştirme, LLM'lerin "ham" vektör aktivasyonları düzeyinde etkileşime girebileceği daha etkili çoklu ajanlı sistemlerin yaratılması yolunu açar. Bu, dağıtılmış AI sistemlerinde, bilgi işleme düğümleri arasındaki bağlam alışverişi hızının kritik önem taşıdığı durumlarda gecikmeleri azaltmaya olanak tanır.