OpenAI внедрила общий стандарт robots.txt для сбора данных

Компания OpenAI объявила о поддержке общего сигнала через протокол robots.txt, который позволяет владельцам сайтов управлять использованием их контента для обучения искусственного интеллекта. Новый подход призван упростить взаимодействие между создателями контента и разработчиками моделей.

Обновленный механизм дает возможность сайтам централизованно сообщать участвующим провайдерам о своих предпочтениях в отношении сбора данных. Такой шаг направлен на повышение прозрачности при индексации веб-страниц и соблюдение авторских прав на цифровые материалы.

Нововведение уже внедряется в инфраструктуру компании и распространяется на все участвующие сервисы. Для владельцев ресурсов это означает более простой контроль над доступом ИИ-систем к их публикациям без необходимости настраивать сложные кастомные правила.