Anthropic, uzun bağlamlarla çalışmayı hızlandırmak için Message Threads özelliğini kullanıma sundu

Anthropic, Messages API'si için Message Threads özelliğini tanıttı. Bu yeni çözüm, sohbet botları ve yapay zeka ajanlarıyla çalışırken veri iletim sürecini optimize ederek her yeni istekte tüm yazışma geçmişini yeniden gönderme ihtiyacını ortadan kaldırıyor.

Sistem, her aşamada diyaloğun tam bağlamını iletmek yerine artık yalnızca değiştirilen veya eklenen kısımları aktarıyor. Bu değişiklik, ağ üzerindeki yükü önemli ölçüde azaltıyor ve veri işlemeyi hızlandırıyor. Geliştiricinin verilerine göre, 500.000 ila 1.000.000 token arasındaki istekler için ilk token'a ulaşma süresi (TTFT) yaklaşık %35 oranında kısalıyor.

Teknoloji, birikmiş bağlamın daha önce modelin yanıt süresini yavaşlattığı uzun iletişim oturumlarına sahip karmaşık uygulamalar geliştiren yazılımcılara yöneliktir. Message Threads kullanımı, diyalog geçmişini kısaltmaya veya modelin yanıt kalitesinden ödün vermeye gerek kalmadan, büyük veri hacimleriyle çalışan arayüzlerin yanıt verebilirliğini önemli ölçüde artırmayı sağlıyor.