Google Search Console (GSC) показывает итог глазами Google: что обнаружено, что в индексе, какие ошибки. Access-логи сервера показывают процесс: кто реально ходил, с каким кодом ответа, сколько байт ушло на мусорные URL и не режет ли периметр AI-краулеров при «зелёном» robots.txt. Для сайтов в Алматы и Казахстане разрыв типичен: в GSC «всё стабильно», а в логах Googlebot крутит параметры фильтров, 404 от старых акций и зеркала. Astrix.kz добавляет разбор логов в технический SEO-аудит, когда каталог большой, была миграция или есть подозрение на блок ботов на CDN.
Чек-лист техники — в техническом SEO-аудите; чтение отчёта — в гайде по отчёту (если уже заказывали аудит); форматы — в SEO-аудите сайта. Смежные материалы: JS-рендеринг, AI-краулеры и robots.txt, Discovered — not indexed. Услуги: SEO-аудит, SEO, аналитика.
Почему одной GSC недостаточно
GSC агрегирует и семплирует. Вы не увидите полный список хитов Googlebot по URL фильтров каталога, точный User-agent AI-бота и долю 403 на периметре CDN. Отчёт «Статистика сканирования» полезен, но не заменяет access.log: там нет вашей правды по кодам ответа на уровне каждого параметра ?color=. Официальный взгляд Google на обход — в разделе crawling/indexing и в справке по статистике сканирования в Search Console. Как отличить настоящего Googlebot от подделки по IP — в руководстве по проверке запросов Google. Для крупных каталогов учитывайте и управление бюджетом сканирования.
Логи отвечают на вопросы уровня P0: «Бот вообще доходит до карточек?», «Сколько краула съедают 301-цепочки?», «Почему ClaudeBot везде 403, хотя в robots Allow?». Без этого спор «нас не индексируют» остаётся гаданием по скринам GSC.
Что смотреть в access-логах
- User-agent и IP — Googlebot стоит верифицировать (обратный DNS), AI-ботов — по заявленным именам и документации вендора.
- Код ответа — доля 200 / 301 / 302 / 404 / 403 / 429 / 5xx по ботам отдельно от людей.
- Топ URL по хитам бота — не совпадает ли с деньгами (услуги, категории) или с мусором (сортировки, сессии, «печать»).
- Объём байт — тяжёлые PDF и медиа, которые едят бюджет сканирования без пользы для индекса.
- Время и частота — пики после деплоя, провалы после смены WAF, ночной краул vs дневной трафик людей.
- Согласованность с sitemap — бот ходит по URL вне карты и игнорирует свежие важные страницы.
Для SPA отдельно смотрите размер HTML-ответа: если Googlebot получает 2 КБ shell, а люди — полноценную страницу после JS, это сигнал к SSR — см. статью про JS-рендеринг. Политику Allow/Disallow сверяйте с AI-краулерами и robots.txt.
Googlebot vs AI-боты в одной таблице
Googlebot — приоритет классического SEO: индексация, сниппеты, AI Overviews в экосистеме Google. В логах важны 200 на коммерческих шаблонах, мало 404 на старых URL после редизайна, отсутствие массовых 429. Связка с отчётами — AI Overviews и Search Console, стратегия — SEO в Google.
AI-краулеры (GPTBot, ClaudeBot, OAI-SearchBot и др.) — чаще меньше объём, но выше цена ошибки периметра: один 403 на весь сайт = «нас нет» в ответах ассистентов при живом Google. Смотрите не только факт визита, но и какой HTML отдали (через размер ответа и выборочный curl). Мифы про llms.txt не заменяют эту проверку — GEO/AEO.
Потери бюджета сканирования
Типичный «съедатель» краула на e-commerce в Казахстане: комбинации фильтров, session-id в URL, календарь «печати», дубли http/https до редиректа, пагинация без правил, старые UTM в внутренних ссылках. В логах это выглядит как тысячи хитов Googlebot на URL, которых нет в деньгах. Лечение — не «просить Google сканировать чаще», а закрыть мусор (canonical, noindex, Disallow точечно, правка перелинковки). Сироты и слабая внутренняя сеть усиливают хаос — см. внутренние ссылки и orphan.
Если GSC пишет «Обнаружено — не проиндексировано», логи помогают понять: бот редко доходит, получает мягкие 404 или уходит в петлю параметров — разбор статуса в отдельной статье. Скорость ответа сервера и тяжёлые скрипты на посадочных влияют и на людей, и на глубину обхода — Core Web Vitals, INP и сторонние скрипты.
Выборка 30 дней: как делать правильно
- Берёте непрерывные access-логи (или агрегат с edge), не «один спокойный вторник».
- Нормализуете User-agent: Googlebot, Googlebot-Image, GPTBot, ClaudeBot, OAI-SearchBot, другие.
- Считаете распределение кодов ответа и топ-50 URL по каждому семейству ботов.
- Сверяете с sitemap и списком коммерческих URL (услуги, категории, 20 ключевых карточек).
- Фиксируете P0: массовые 403 AI-ботам, >X% краула в 404, редиректные цепи, пустые shell для ботов.
- Отдаёте разработке/хостингу задачи с URL-примерами из логов, не абстракт «улучшить краул».
Для малых сайтов на 30–80 URL полный разбор логов часто избыточен: хватит GSC, выборочного curl и проверки robots. Логи окупаются на каталогах от нескольких тысяч URL, после миграции CMS, при CDN с антиботом и когда «SEO стоит на месте» при растущем контенте.
Кому это нужно, а кому нет
| Тип сайта | Логи | Комментарий |
|---|---|---|
| Лендинг / визитка | обычно нет | GSC + ручные проверки |
| Корпоратив 100–500 URL | по событию | миграция, падение индекса |
| E-com / каталог 10k+ URL | да, регулярно | фильтры и мусорный краул |
| SPA без SSR | да | размер HTML для ботов |
| CDN с жёстким WAF | да | 403/429 у AI и Google |
Ориентир Astrix.kz: технический аудит от 150 000 ₸; блок логов +50 000 – 80 000 ₸. Ведение SEO — от 250 000 ₸/мес. Поддержка после фиксов — поддержка сайта; разработка правок — разработка сайта.
Стоимость блока логов
| Формат | Стоимость | Комментарий |
|---|---|---|
| Технический SEO-аудит | от 150 000 ₸ | индекс, robots, CWV |
| Блок логов 30 дней | +50 000 – 80 000 ₸ | Googlebot + AI-боты |
| SEO-продвижение | от 250 000 ₸/мес | после закрытия P0 |
| Поддержка сайта | от 80 000 ₸/мес | фиксы на проде |
Связка с аналитикой и командой
Логи — не замена GA4 (Google Analytics 4) и не «ещё один дашборд для директора». Это инженерный слой для SEO и DevOps. Маркетингу достаточно резюме: «15% хитов Googlebot — 404 старых акций; AI-боты получают 403 на edge; карточки товара бот посещает редко». Дальше — спринт P0. Если нужна продуктовая аналитика воронок, это отдельный контур аналитики; техника индекса — аудита.
Храните выгрузки и SQL/скрипты разбора в общем пространстве команды, чтобы через квартал сравнить «до/после» WAF. Иначе каждый новый подрядчик начинает с нуля и снова пугает «ботами» без цифр.
Итог
GSC показывает картину индекса Google; логи сервера — реальный обход Googlebot и AI-ботов, коды ответа и потери краула. Для каталогов 10k+ URL и сайтов за CDN разбор выборки 30 дней — часть технического SEO, а не экзотика. Закажите блок в SEO-аудите Astrix.kz (аудит от 150 000 ₸, логи +50–80k ₸) или заложите в ведение SEO от 250 000 ₸/мес. Рядом: политика robots.txt, JS-рендеринг, технический чек-лист и Discovered — not indexed.
Связанные услуги
Частые вопросы
GSC (Google Search Console) показывает итог индекса — Логи — реальные визиты Googlebot и AI-ботов, коды ответа и куда уходит обход. Вместе они закрывают «почему URL не в индексе».
Обычно 14–30 дней без дыр в ротации. Для каталогов 10k+ URL в Казахстане месяц даёт устойчивую картину топа путей и ошибок 4xx/5xx/429.
Долю хитов на деньги vs фильтры, коды 200/301/404/429, время ответа, User-Agent Googlebot vs «фейк» — Ищите петли параметров и session-id во внутренних URL.
Базовый SEO-аудит — от 150 000 ₸; блок логов обычно +50–80 тыс. ₸. Ведение с регулярной выборкой — в SEO от 250 000 ₸/мес. Заказать — SEO-аудит.
Показывают: бот редко доходит, тонет в мусоре или получает отказ периметра — Тогда лечат краул и шаблоны, а не жмут «запросить индексирование» на тысячах URL.
Да — иначе не видно, режет ли WAF бота. Берите логи origin или CDN с User-Agent и статусом; «зелёный» сайт в браузере не доказывает доступ Googlebot.
Основное: мягкие 404 с 200 OK, цепочки 301, массовые 404 на старые акции, 429/403 боту. В Алматы на e-commerce это типичный «тихий» расход внимания робота.
В топе Googlebot — комбинации параметров вместо категорий и карточек. Лечение: правила индекса, canonical, точечный Disallow и чистая перелинковка — не «просить сканировать чаще».
Нет при частых релизах, акциях и смене CDN. Раз в квартал — минимум; при всплеске Discovered в GSC — внеплановая выборка 30 дней.
Краулер показывает граф ссылок «как сайт отдаёт людям» — Логи — факт обхода ботами. Для SEO в Казахстане нужны оба слоя, особенно за CDN и на SPA.
В рамках аудита Astrix.kz или сопровождения SEO от 250 000 ₸/мес — выборка, топ URL ботов и план чистки краула.
Нужна помощь с SEO?
Команда Astrix.kz реализует проекты для бизнеса в Казахстане с 2019 года.
