Что такое robots.txt

robots.txt – текстовый файл в корне сайта, который задаёт правила доступа автоматических роботов к URL. В SEO его используют прежде всего для управления обходом, а не как универсальный механизм удаления страниц из поиска.

Как устроены правила

Файл содержит группы для конкретных user-agent и директивы вроде Allow и Disallow. Стандарт Robots Exclusion Protocol описывает, как роботы должны находить и интерпретировать файл. Поисковые системы могут поддерживать дополнительные возможности, поэтому платформенные детали нужно сверять с их документацией.

Запрет обхода не равен noindex

Если URL закрыт в robots.txt, робот может не получить содержимое страницы и не увидеть метатег noindex. Google прямо предупреждает, что заблокированный URL в отдельных случаях всё ещё может быть известен поисковой системе по внешним ссылкам. Для исключения HTML-страницы из индекса обычно требуется доступный для обхода noindex или удаление ресурса.

Связь с sitemap.xml

В robots.txt можно указать расположение sitemap.xml. Это не делает карту сайта частью правил запрета: Sitemap сообщает о URL для обнаружения, а Disallow регулирует доступ к обходу.

Риск массовых изменений

Ошибочная директива на уровне раздела способна закрыть от обхода важные страницы. Перед публикацией нужно проверить синтаксис, область действия правил и фактическую доступность ключевых URL в инструментах поисковых систем.

Проверка robots.txt вместе с индексированием и картой сайта входит в технический SEO-аудит.