Anthropic внедрила Message Threads для ускорения работы с длинным контекстом

Компания Anthropic представила функцию Message Threads для своего Messages API. Новое решение оптимизирует процесс передачи данных при работе с чат-ботами и ИИ-агентами, исключая необходимость повторной отправки всей истории переписки при каждом новом запросе.

Вместо передачи полного контекста диалога на каждом этапе, система теперь транслирует только те фрагменты, которые были изменены или добавлены. Это изменение существенно снижает нагрузку на сеть и ускоряет обработку данных. Согласно данным разработчика, для запросов объемом от 500 000 до 1 000 000 токенов время до получения первого токена (TTFT) сокращается примерно на 35%.

Технология ориентирована на разработчиков, создающих сложные приложения с длинными сессиями общения, где накопленный контекст ранее замедлял отклик модели. Использование Message Threads позволяет значительно повысить отзывчивость интерфейсов, работающих с большими объемами данных, без необходимости сокращать историю диалога или жертвовать качеством ответов модели.