614 1) Что такое индексация сайта в Google и чем она отличается от сканирования (crawling) и indexing
Индексация сайта — это процесс, при котором Google добавляет страницу в свою базу, чтобы затем показывать её в выдаче. Сначала Googlebot обнаруживает URL, затем выполняет crawling, при необходимости rendering, и только после этого принимает решение об indexing.
На сканирование влияет crawl budget — условный лимит внимания Google к вашему сайту. Чем больше мусорных URL, дублей и редиректов, тем меньше ресурсов остаётся на важные страницы.
2) Как Googlebot и мобильная индексация влияют на видимость страниц
Mobile-first indexing означает, что Google в первую очередь использует мобильную версию страницы для ранжирования и индексации. Если на мобильной версии скрыт контент или отличается разметка, риски по индексации выше.
3) Карта процессов: как страница попадает в индекс
Google может узнать о странице из внутренних ссылок, внешних ссылок, файла Sitemap.xml, а также ручной отправки через Google Search Console. Актуальная карта сайта помогает ускорить обнаружение новых и обновлённых URL.
4) Crawl budget: как распределяется лимит сканирования
Для SEO для бизнеса это критично: если у вас крупный каталог или интернет-магазина с десятками тысяч URL, неправильное распределение crawl budget приводит к тому, что Googlebot тратит ресурсы на мусорные страницы, а коммерчески важные категории и карточки товаров обновляются медленно.
5) Диагностика индексации через Google Search Console
В отчёте Page Indexing report важно отслеживать статусы Crawled – currently not indexed, Discovered – currently not indexed, Duplicate without user-selected canonical, Page with redirect, Soft 404 и Blocked by robots.txt.
6) URL Inspection Tool: проверка конкретной страницы
URL Inspection Tool помогает понять, видит ли Googlebot страницу, можно ли её сканировать, какая версия считается канонической, как прошли crawling и rendering, и почему страница попала или не попала в индекс.
7) HTTP status codes: какие коды мешают индексации
HTTP status codes напрямую влияют на индексацию: 200 означает успешную отдачу страницы, 301 помогает корректно перенести URL, 404/410 исключают отсутствующие страницы, а 5xx сигнализируют о серверных проблемах.
8) Robots.txt: как управлять сканированием
Robots.txt управляет доступом роботов к разделам сайта, но не является прямой директивой индексации. Важно не блокировать CSS и JS, которые нужны Googlebot для корректного rendering.
9) Meta robots: noindex/nofollow
Noindex используют для страниц, которые не должны попадать в индекс: корзины, личного кабинета, внутреннего поиска, технических страниц и части параметрических URL.
10) X-Robots-Tag
X-Robots-Tag позволяет управлять индексацией на уровне HTTP-заголовков, в том числе для PDF, изображений и других не-HTML ресурсов.
11) Sitemap.xml: как ускорить обнаружение URL
В Sitemap.xml должны попадать только канонические, индексируемые URL со статусом 200, без noindex, редиректов и технического мусора.
12) Canonical URL
Canonical URL помогает Google выбрать основную версию страницы при дублях, но работает лучше всего, когда внутренние ссылки, редиректы и sitemap не противоречат этому сигналу.
13) Дубли страниц
Дубли страниц размывают сигналы и расходуют crawl budget. Для их устранения используют canonical, редирект 301, noindex и нормализацию структуры URL.
14) JavaScript SEO
На сайтах SPA/CSR важно, чтобы Googlebot мог увидеть ключевой контент, ссылки и структурированные данные после rendering. Для приоритетных страниц лучше использовать SSR, гибридный рендеринг или пререндеринг.
15) Почему страница не индексируется
Причины могут быть техническими: блокировка в Robots.txt, noindex, x-robots-tag, 4xx/5xx, Soft 404, конфликт canonical, слабая перелинковка, дубли или проблемы rendering.
16) Как ускорить индексацию сайта
Сначала определите приоритетные URL, укрепите внутреннюю перелинковку, приведите в порядок Sitemap.xml, устраните причины исключения из индекса, оптимизируйте crawl budget и только после этого используйте URL Inspection Tool для запроса индексации.
17) Мониторинг и контроль
Регулярно отслеживайте Page Indexing report, динамику Indexed и Excluded, рост дублей, всплески Blocked by robots.txt, Soft 404, 404/403/5xx и расхождения по canonical.
18) FAQ
Запрос индексации — это ускоритель после исправлений, а не замена техническое SEO. Если сайт остаётся в состоянии дублей, редирект-цепочек, слабой перелинковки и технических запретов, запрос через URL Inspection Tool не даст устойчивого результата.
19) Итог
Стабильная видимость в Google начинается с согласованности сигналов: Googlebot должен обнаружить URL, успешно просканировать и отрендерить страницу, понять canonical, увидеть качественный контент и получить подтверждение через внутренние ссылки и чистую карту сайта.
