Софт 22 октября 2026, 14:20 МСК

Гэри Ильес: robots.txt управляет краулингом, но не использованием контента для обучения ИИ

По словам Гэри Ильеса из Google, запрет в robots.txt лишь не пускает бота на страницу и не определяет, попадёт ли контент в обучающие данные.

Как пишет Хабр со ссылкой на Search Engine Journal, многие владельцы сайтов закрывали GPTBot, CCBot и другие AI-краулеры директивой Disallow, считая это защитой от обучения моделей. Ильес разделил два процесса: robots.txt отвечает на вопрос, может ли бот зайти на страницу, а использование контента для обучения регулируется политиками компаний, opt-out-программами и авторским правом.

Блокировка не гарантирует, что материал не окажется в датасете: его могли собрать раньше или другим путём. Кроме того, robots.txt — это протокол-просьба, а не технический барьер, и не каждый краулер ему следует. Для управления обходом файл работает как прежде.

Автор материала делает вывод, что защита от ИИ только директивой не работала, а стратегию стоит смещать на создание контента с уникальной экспертизой. Это мнение автора публикации, а не заявление Google.

• robots.txt управляет обходом, а не обучением моделей
• Ранее собранный контент блокировка не затрагивает