Cartesia представила архитектуру H-Nets взамен токенизации

Компания Cartesia представила архитектуру иерархических сетей H-Nets, которая полностью заменяет стандартную токенизацию на динамическое чанкирование «от конца до конца» (end-to-end).

Разработчики заявляют, что новый подход обеспечивает рост вычислительной эффективности и эффективности работы с данными до 10 раз по сравнению со стандартными моделями Transformer. Технология также открывает новые возможности поведения нейросетей, включая контекстную токенизацию.

Архитектура работает непосредственно с байтовыми последовательностями, обходя ограничения традиционных токенайзеров. Подробные технические спецификации и результаты тестов опубликованы в официальном блоге проекта.

Новый подход снижает издержки на обработку сырых данных и может изменить стандарты построения базовых архитектур для эффективного обучения моделей.