Обнаружено, но не проиндексировано: причины и проверки

Проверка одного URL так, как его видит Google

Начните с одного адреса. Таблица причин полезна только тогда, когда вы знаете, какая строка описывает страницу перед вами.

Начните со статуса покрытия

Откройте отчет об инспекции страницы в Search Console и прочитайте строку статуса прежде всего. Статусы «Обнаружено» и «Обойдено» — это разные вердикты, и каждый указывает на свое решение.

Не тратьте неделю на ссылки для страницы, которую Google никогда не обходил. Эти усилия лучше направить в другое место, пока строка статуса не изменится.

Сохраните результат инспекции с датой. Состояния покрытия меняются при повторном обходе Google, поэтому заметка за прошлую неделю расскажет, что происходило тогда, а свежая инспекция — что происходит сейчас.

Сравните сырой HTML с отрендеренной страницей

Запросите URL через cURL и поищите основной текст в ответе. Если слова появляются только после выполнения скриптов, проблема в рендеринге, а не в графе ссылок.

Отсутствующий заголовок или тонкое тело в сыром ответе — быстрый сигнал, который чаще всего упускают из виду.

Проработайте список по порядку. Сбой по первому пункту часто объясняет остальные, поэтому нет смысла проверять остальные, пока не исправлена первая причина.

• Главный заголовок присутствует в ответе
• Текст тела длиннее нескольких предложений
• Внутренние ссылки представлены как обычные якоря
• Тег canonical указывает на правильный адрес

Подтвердите согласие карты сайта и файла robots

Карта сайта, в которой указан URL, но robots.txt его блокирует, посылает смешанные сигналы. Проверьте оба файла на каноническом хосте, так как копия, обслуживаемая с другого хоста, может содержать иные данные.

Несоответствия такого рода редко ломают весь сайт. Они лишь затрудняют чтение результатов других проверок.

Также проверьте значения lastmod, если они есть в вашей карте сайта. Даты, которые никогда не меняются или все совпадают с датой сборки, сообщают Google очень мало о том, что является новым.

Где здесь место обратным ссылкам

Ссылка с другого сайта — это путь обнаружения. Google следует по ней, что может быстрее извлечь страницу из очереди обнаружения.

Это не делает ссылку переключателем индексации. Страница без внутренних ссылок и с одной случайной обратной ссылкой остается слабым кандидатом, и Google прямо заявлял, что не индексирует всё, что находит.

Используйте toppages, чтобы увидеть, какие из ваших URL привлекают ссылки, затем подтвердите, что эти точные URL проиндексированы. Ссылки есть, но страницы нет в индексе — признак, ради которого стоит потратить день работы.

Когда вы не уверены, посмотрите на страницы, ссылающиеся на застрявший URL. Если ни одна из них не является вашей собственной страницей, проблема, вероятно, во внутренней структуре, а не во внешних ссылках.

Ссылки со страниц, которые никто не читает

Ссылка со страницы, которую никогда не обходят, дает Google мало возможностей для перехода. Проверьте, проиндексирована ли сама ссылающаяся страница, прежде чем считать ее путем обнаружения.

Мертвые ссылки со старых страниц могут некоторое время удерживать адрес в списке, но редко меняют вердикт сами по себе.

Внутренние ссылки выполняют основную работу

Большая часть обнаружения страниц собственного сайта происходит внутри самого сайта. Меню, список категорий и карта сайта приносят новой странице больше пользы, чем одна внешняя ссылка.

Если у страницы нет внутреннего пути, внешняя ссылка — это заплатка над структурным пробелом, и этот пробел нужно устранить.

Как отличить глубину ссылок от их качества

Страница, которая обнаружена, но не обойдена, обычно имеет проблему с приоритетом. Google знает адрес, но не видит причин спешить, часто потому что мало внутренних путей ведут туда.

Страница, которая обойдена, но не проиндексирована — это суждение. Google прочитал её и решил, что она ему не нужна, поэтому больше ссылок не исправят тонкий или дублирующий текст.

Фреймворки добавляют третью причину. Сайты на Next.js и React иногда отдают текст, который появляется только после выполнения JavaScript. Запросите сырой HTML через cURL и посмотрите, есть ли там ваш текст. Если нет, исправлением будет серверный рендеринг или пререндеринг, и рецепт сохранения стабильности URL применим при смене стека.

У Bing и Yandex свои очереди, поэтому проверьте Bing Webmaster Tools, прежде чем предполагать, что проблема только ваша.

Полезный тест — посмотреть на одну и ту же страницу с двух сторон. Если количество внутренних ссылок низкое, а текст тонкий, причина может быть в обоих факторах, и нужно исправить оба, прежде чем ждать.

Когда скачок исключенных URL вызван параметрами или картой сайта

Резкий рост исключенных URL обычно имеет механическую причину. Задача — найти генератор, а не бегать за каждым адресом.

Параметры и фасетные пути

Резкий скачок часто восходит к фильтру или параметру сортировки, который начал генерировать новые адреса. Выберите дюжину примеров из отчета и прочитайте их строки запроса.

Если варианты показывают одинаковый контент, проблема в дублировании. Решение — канонический URL или правило параметров, а не больше ссылок.

Следите за страницами, которые должны существовать. Фильтр может заслуживать собственного адреса, если люди действительно ищут эту комбинацию. Правило не в том, чтобы блокировать каждый параметр, а в том, чтобы решить, какие комбинации заслуживают адреса.

Карта сайта, указывающая на неверный хост

Карта сайта, созданная для http-версии сайта или для хоста, который сейчас делает редирект, дает Google список, которому он не будет доверять. Откройте файл и проверьте первые десять адресов на соответствие вашему каноническому хосту.

Сначала исправьте список. Чистая карта сайта стоит недорого в публикации, и она убирает одну переменную из расследования.

Ловушки хостинга и блокировки ботов

Hostinger, Cloudflare и подобные сервисы иногда ограничивают частоту запросов для Googlebot, при этом обслуживая людей без проблем. Сайт выглядит нормально для вас и нестабильно для краулера.

Прочитайте сырой access-лог на наличие ответов 403, 429 и 5xx для user-агентов, содержащих Googlebot. Подтвердите эти обращения через обратный DNS, так как многие скрейперы подделывают имя.

AI-краулеры — отдельное решение. Блокировка GPTBot или ClaudeBot в robots.txt не затрагивает Googlebot, но небрежное правило с подстановочным знаком может. Тестируйте файл после каждого редактирования.

Staging-копии требуют осторожности. Когда одна из них является проблемой, поместите её под пароль и запросите удаление в Search Console. Тега noindex alone может быть достаточно, чтобы один деплой его отменил. См. рецепт по редиректам перед консолидацией хостов.

Ограничения частоты часто проявляются только в часы пик. Проверка в полночь может выглядеть чистой, в то время как логи после обеда рассказывают другую историю, поэтому выбирайте несколько временных окон перед принятием решения.

Ведите заметки обо всех правилах файрвола, которые вы меняете. Правило, добавленное для остановки одного скрейпера, может заблокировать и краулер, и симптом может проявиться позже как тихое падение покрытия.