Разработчики представили инструмент для управления ПК через DeepSeek

Энтузиасты выпустили проект dsh-computer-use_codex-style, который реализует функциональность управления рабочим столом в стиле Codex на базе инфраструктуры DeepSeek Harness. Инструмент позволяет AI-агентам взаимодействовать с операционной системой Windows и браузером Chromium, выполняя действия непосредственно в интерфейсе приложений.

Система поддерживает 13 специфических методов управления, включая команды для кликов мышью, ввода текста и запуска приложений. Взаимодействие происходит через анализ скриншотов рабочего стола в реальном времени, что позволяет модели интерпретировать визуальный контекст и принимать решения о дальнейших шагах без необходимости в API-интеграциях конкретных программ.

Для работы решения используются стандартные методы ввода, имитирующие действия пользователя. Проект ориентирован на автоматизацию рутинных задач в десктопной среде, обеспечивая полный контроль над активными окнами и вкладками браузера. Код проекта доступен в открытом репозитории для интеграции с локальными моделями.

Реализация такого подхода позволяет расширить возможности LLM за пределы текстовых чатов, превращая их в полноценных агентов для работы с графическим интерфейсом. Использование DeepSeek Harness в качестве основы обеспечивает совместимость с актуальными методами обработки визуальных данных для задач компьютерного зрения и автоматизации.