Discovered not indexed и soft 404: как чинить индексацию в GSC

В Google Search Console (GSC, панели веб-мастера Google) статусы Discovered — currently not indexed («Обнаружено — пока не проиндексировано») и Crawled — currently not indexed («Просканировано — пока не проиндексировано») пугают маркетинг: «нас не берут в индекс». Для сайтов в Алматы и Казахстане чаще это не «штраф», а очередь, качество URL и сигнал soft 404 (мягкой ошибки «страница как будто пустая»). Эта статья — глубокий плейбук починки, а не обзор всего аудита: форматы аудита — в SEO-аудите сайта, чек-лист техники — в техническом SEO-аудите. Astrix.kz с 2019 года разбирает индекс в GSC вместе с логами и перелинковкой, а не «просит Google просканировать ещё раз».

Скорость и Core Web Vitals (CWV, ключевые показатели удобства страницы) влияют на обход косвенно — скорость сайта; фильтры каталога раздувают очередь — SEO категорий и фильтров; отчёты по AI Overviews — AI Overviews и Search Console. Услуги: SEO-аудит, SEO-продвижение, поддержка сайта. Смежные темы волны: JS-рендеринг SPA и SSR, AI-краулеры и robots.txt, анализ логов сервера, INP и сторонние скрипты, внутренние ссылки и orphan.

Что означают статусы в отчёте об индексировании

Discovered — currently not indexed — Google знает URL (sitemap, ссылка, ранее), но ещё не обошёл или отложил обход. Причины: слабый приоритет, огромная очередь новых URL, бюджет сканирования уходит на мусор, сайт медленный или нестабильный. Crawled — currently not indexed — робот уже скачал страницу, но не положил в индекс: дубль, тонкий контент, soft 404, canonical на другой URL, noindex, низкая ценность на фоне сайта. Официальная логика — в разделе crawling и indexing, в справке по отчёту об индексировании страниц (Page indexing) и в инструменте проверки URL.

Не смешивайте статусы с «страница исключена из-за ошибки 5xx» или «заблокировано robots.txt»: там другие причины и другой порядок фикса. Сначала сегментируйте URL в GSC по шаблонам: услуги, категории, карточки, фильтры, блог, старые акции. Одна цифра «N тысяч не проиндексировано» без сегмента бесполезна.

Soft 404: когда Google считает страницу «пустой»

Soft 404 — сервер отвечает кодом 200, а по смыслу страница «как будто не найдена»: «товар недоступен» без альтернатив, пустой шаблон фильтра, заглушка «скоро откроем», тонкий текст из трёх строк на уникальном URL. Google может не индексировать такие URL или помечать их как soft 404 в отчётах. Для интернет-магазинов в Казахстане типичны пустые комбинации фильтров и карточки «нет в наличии» без полезного контента.

Лечение soft 404 — не «написать ещё 50 слов ради SEO», а решить судьбу URL: 404/410 для мусора, 301 на живую категорию, noindex для временных заглушек, нормальный шаблон «нет в наличии» с перелинковкой. Документация Google по мягким ошибкам — в материалах про коды ответа и сетевые ошибки. Связка с каталогом — в гайде по категориям и фильтрам.

Практический порядок фикса для сайтов в Алматы и Казахстане

1. Сегментировать. Выгрузить примеры из GSC по причинам. Отделить коммерческие шаблоны от параметров, печати, «сравнить», session-id.
2. Сверить robots и sitemap. Sitemap не должен пихать в очередь мусор; robots не должен резать CSS/JS, нужные Google для понимания страницы — см. руководство по robots.txt.
3. Discovered: спросить «бот вообще ходит?» Access-логи 30 дней — методика в анализе логов сервера. Если Googlebot тонет в фильтрах, сначала режьте мусорный краул, а не жмите «запросить индексирование».
4. Crawled: спросить «что увидел бот?» Инспекция URL, сырой HTML vs DOM. Пустой shell SPA — к JS-рендерингу и SSR. Canonical/noindex/дубли — правка шаблона.
5. Soft 404 и тонкий контент. Закрыть или усилить шаблон; не плодить тысячи «пустых» посадочных под рекламу.
6. Перелинковка. Orphan-страницы (сироты без внутренних ссылок) долго сидят в Discovered — см. внутренние ссылки и orphan.
7. Скорость ответа. Медленные посадочные и тяжёлые скрипты снижают глубину обхода — CWV, INP и сторонние скрипты.
8. Повторная проверка через 2–4 недели по тем же сегментам, не по «общему числу исключений».

Discovered: типичные причины на проектах

• Sitemap загрузили 20 000 URL фильтров за ночь — очередь забита мусором.
• Новый раздел услуг без ссылок из хаба и меню — Google «знает» из sitemap, но приоритет низкий.
• CDN/WAF (межсетевой экран приложений) отдаёт 429/403 боту на части URL — в GSC картина «обнаружено», в логах — отказ; политика ботов — AI-краулеры и robots.txt.
• Массовые 301-цепочки после миграции: бот тратит краул на редиректы, до целевых страниц доходит редко.
• Дубли http/https или www до стабильного редиректа размывают сигнал.

Инструмент проверки URL в GSC полезен точечно: 10–20 коммерческих страниц, не «все 50 тысяч». Массовый «запрос индексирования» без чистки очереди почти не двигает иглу.

Crawled — not indexed: что чинить первым

После обхода Google сравнивает URL с остальным сайтом. Если карточка на три предложения копирует соседние, а категория-фильтр пустая — индекс не обязан расти «потому что URL уникальный». Приоритет фикса:

• убрать из внутренней сети и sitemap то, что не должно быть в индексе;
• выровнять canonical на канонический шаблон категории/услуги;
• усилить коммерческие страницы фактами: цена/ориентир, гео («Алматы», «Казахстан»), оффер, FAQ по делу;
• закрыть soft 404 честным кодом или редиректом;
• не плодить near-duplicate посадочные под каждый ключ без отличия смысла.

Для стратегии в выдаче полезны AI Overviews в Search Console и общий технический чек-лист. Если «не индексируют» на самом деле «не рендерят HTML» — вернитесь к SPA/SSR.

Чего не делать

• Каждый день жать «запросить индексирование» на сотни URL.
• Считать Discovered доказательством «фильтра Google» без логов и сегмента.
• Открывать в индекс все комбинации фильтров «на всякий случай».
• Лечить soft 404 скрытым текстом и клоакингом — это другой класс риска.
• Игнорировать сирот и битые внутренние ссылки после редизайна.

Стоимость диагностики

Ориентиры Astrix.kz. Доступ к GSC, хостингу и выгрузке URL ускоряет разбор. Правки на проде — через поддержку сайта; стратегия роста — SEO-продвижение.

Мини-регламент на спринт

Владелец продукта утверждает, какие шаблоны URL «должны быть в индексе». SEO готовит сегменты GSC и список P0. Разработка закрывает soft 404, canonical и мусорные параметры. Администратор сверяет логи Googlebot. Через 14–28 дней — повторный срез тех же сегментов и короткий отчёт «стало/осталось». Без регламента команда снова уйдёт в хаотичные запросы индексации.

Так статус «не проиндексировано» превращается в управляемый бэклог, а не в тревожный скрин для совещания.

Итог

Discovered — currently not indexed и Crawled — currently not indexed в GSC требуют разного лечения: очередь и приоритет против качества URL и soft 404. Для бизнеса в Алматы и Казахстане сначала сегмент, логи и чистка мусора, потом усиление коммерческих страниц и перелинковка — не массовый «запрос индексирования». Диагностика — в SEO-аудите от 150 000 ₸; сопровождение фиксов — поддержка сайта; рост после техники — SEO от 250 000 ₸/мес. Рядом: логи сервера, orphan-страницы, технический чек-лист и обзор аудита.

По теме в кластере: Как читать отчёт SEO-аудита в Казахстане.

Связанные услуги

Частые вопросы