Исследователи представили открытую модель ZGCM-1 для математики и поиска

Команда разработчиков выпустила ZGCM-1 — плотную 7B-модель, обученную с нуля с акцентом на системную и алгоритмическую эффективность. Архитектура ориентирована на решение сложных математических задач и агентный поиск, сочетая внутреннее мышление с активным использованием внешних инструментов.

Модель поддерживает контекстное окно до 256K токенов. В основе архитектуры лежит комбинация гейтированного скользящего окна и полного внимания, а также оптимизатор FP8 Muon. Процесс обучения включал поэтапное масштабирование контекста (16K, 64K, 256K) и переработку траекторий взаимодействия в марковские процессы принятия решений. Разработчики применили AI-native подход, где рои агентов автономно управляли операциями в кластере и оценкой данных.

По результатам тестов, ZGCM-1-7B демонстрирует конкурентоспособность с моделями, превосходящими её по размеру на порядки, такими как Qwen3-235B-A22B и GLM-5.1. Эффективность обучения при 16K контексте оказалась в 4.2 раза выше по показателю времени до достижения целевых потерь. Исследователи опубликовали веса модели, промежуточные чекпоинты, код обучения и логи экспериментов.

Проект распространяется под лицензией CC BY 4.0. Авторы также представили восемь эмпирических выводов, касающихся масштабирования архитектуры, качества SFT-прунинга и динамики агентного обучения, что позволяет сообществу использовать эти данные для дальнейших исследований в области компактных, но высокопроизводительных систем.