Разработчики представили рекуррентную модель Myosotis-1-base

Команда исследователей выпустила Myosotis-1-base — компактную языковую модель с архитектурой FWKV. Релиз ориентирован на эффективную работу как на центральных процессорах, так и на графических ускорителях.

Модель содержит 100 миллионов параметров и использует механизм clamped exponential decay, который обеспечивает теоретически бесконечный контекст. В процессе обучения нейросеть обработала 2 миллиарда токенов, включая данные из открытого интернета и синтетические наборы данных.

Архитектура FWKV позволяет модели сохранять высокую производительность при ограниченных вычислительных ресурсах. Благодаря рекуррентной структуре, Myosotis-1-base потребляет меньше памяти по сравнению с классическими трансформерами при обработке длинных последовательностей.

Релиз доступен для загрузки на платформе Hugging Face. Модель представляет собой решение для задач, где требуется баланс между скоростью инференса и способностью удерживать контекст в условиях ограниченного «железа».