Что такое Краулинг
Краулинг – обход URL поисковым роботом: система обнаруживает адрес, запрашивает страницу и получает данные для дальнейшей обработки.
Краулинг (crawling) – процесс обнаружения и загрузки URL поисковым роботом. Для Google этот этап выполняет инфраструктура Googlebot: робот получает адрес из очереди, проверяет возможность доступа и запрашивает ресурс.
Как поисковый робот находит страницы
Новые URL обнаруживаются по ссылкам с уже известных страниц, из sitemap и другими способами. Поэтому рабочие внутренние ссылки помогают роботу находить содержимое сайта. XML-карта может дополнить этот механизм, но не заменяет нормальную архитектуру ссылок.
Что происходит при обходе
Робот отправляет HTTP-запрос и получает ответ сервера. На результат влияют статус-код, перенаправления, ограничения доступа и доступность ресурсов. Для JavaScript-страниц отдельным этапом может потребоваться рендеринг.
robots.txt способен запретить запрос определённых URL конкретным роботам. Такой запрет управляет краулингом, но сам по себе не является универсальной директивой удаления страницы из поиска.
Краулинг и индексация
После загрузки данные передаются на обработку, где поисковая система решает, как интерпретировать страницу и добавлять ли её в индекс. Поэтому индексация следует за обнаружением и обработкой, но факт обхода не гарантирует индексирование.
Как диагностировать проблемы
Для Google используют URL Inspection, отчёты Search Console и серверные логи. Логи особенно полезны на больших сайтах: они показывают фактические запросы робота, а не только предполагаемую доступность URL.
Пример для сайта клиники
Если страницы врачей открываются только после действия в интерфейсе и не имеют обычных ссылок, робот может обнаруживать их хуже. Стабильные URL, доступные ссылки и корректная sitemap.xml делают структуру предсказуемее для обхода.