Baidu представила модель ERNIE 5.5 Flash Base

Компания Baidu выпустила новую языковую модель ERNIE 5.5 Flash Base. Архитектура новинки представляет собой разреженную модель типа MoE (Mixture-of-Experts) с общим объемом параметров 280 млрд, при этом количество активных параметров на один токен составляет 14 млрд.

Модель прошла предварительное обучение на массиве данных объемом 33,5 трлн токенов. Одной из ключевых особенностей релиза стала поддержка контекстного окна размером до 1 млн токенов. По заявлению разработчиков, такие параметры обеспечивают высокую эффективность при выполнении задач дообучения и инференса в различных сценариях использования.

Технические детали и документация по модели доступны на официальной странице ERNIE 5.5 Flash Base. Релиз ориентирован на разработчиков, которым требуется баланс между производительностью крупной модели и скоростью работы, достигаемой за счет разреженной архитектуры.

Использование 14 млрд активных параметров позволяет значительно снизить вычислительные затраты при сохранении широких возможностей, характерных для моделей с сотнями миллиардов весов. Это решение упрощает внедрение продвинутых языковых функций в высоконагруженные системы, требующие обработки длинных контекстов в реальном времени.