Вопрос «кого пускать из AI-ботов» для компаний в Алматы и Казахстане чаще решают эмоцией: «закроем всех» или «откроем всё ради видимости в ChatGPT». Рабочий путь — политика в robots.txt (файле правил для роботов) с разделением обучения моделей и поиска / цитирования. Это не статья про llms.txt: мифы про «файл для ИИ» разобраны в GEO и AEO в 2026. Здесь — User-agent'ы GPTBot, OAI-SearchBot, ClaudeBot, Google-Extended, случайные блоки на CDN (сети доставки контента) и WAF (межсетевом экране приложений), плюс практичный регламент для малого и среднего бизнеса. Astrix.kz выносит политику ботов в технический блок SEO и в аудит перед масштабированием контента.
Связка с рендерингом — в JS-рендеринге SPA и SSR; проверка факта обхода — в логах сервера; база индексации — в чек-листе технического аудита. Услуги: SEO-продвижение, продвижение в Google, SEO-аудит. Спецификация robots — в руководстве Google по robots.txt и исторической справке robotstxt.org.
Обучение модели — это не попадание в ответ ассистента
Многие владельцы сайтов смешивают два сценария. Обучение (training) — бот качает тексты в корпус модели; отказ через robots.txt снижает риск использования контента как учебного материала (в рамках того, как вендор уважает robots). Поиск и цитирование (retrieval) — отдельный агент обходит страницы, чтобы ответить на запрос пользователя «здесь и сейчас». Закрыв всё подряд, вы можете «защитить» тексты от обучения и одновременно выключить себя из сценариев, где бренд как раз хотят упомянуть. Наоборот, открыв всё без правил, отдаёте коммерческие прайсы и закрытые разделы туда, куда не планировали.
Практичное правило для SMB в Казахстане: публичные страницы услуг и блога — открыты для поисковых/цитирующих ботов при нормальном HTML; разделы с персональными данными, корзиной и черновиками — закрыты для всех лишних агентов; обучение — отдельное решение собственника, зафиксированное письменно.
Кто есть кто: GPTBot, OAI-SearchBot, ClaudeBot, Google-Extended
GPTBot — краулер экосистемы OpenAI для сценариев обучения моделей; OAI-SearchBot — отдельный агент под поисковые ответы ChatGPT. Их Allow/Disallow в robots.txt независимы: можно закрыть обучение и оставить поиск. Официальное описание всех агентов OpenAI (включая ChatGPT-User и OAI-AdsBot) — в документации OpenAI Crawlers. ClaudeBot — краулер Anthropic; политика и блокировка — в справке Claude / Anthropic. Google-Extended — управляет использованием контента для обучения моделей Google (включая сценарии вроде Gemini), не отключая обычный Googlebot для поиска; разъяснения — в списке краулеров Google.
Не копируйте чужой robots.txt с форума «заблокировать ИИ». Сначала таблица: агент › цель (обучение / поиск) › решение (Allow / Disallow) › владелец решения в компании. Иначе через месяц маркетинг будет жаловаться на «нас нет в ответах», а IT — что «всё закрыли по безопасности».
Случайные блоки: CDN, WAF и «умные» антиботы
Частая картина на хостингах в регионе: в robots.txt всё разрешено, а в логах GPTBot получает 403/429, потому что антибот на CDN режет «непохожий» User-agent. Владелец думает, что «политика мягкая», фактически — жёсткий блок на периметре. Перед сменной политикой сверьте:
- правила WAF и rate limit по User-agent и ASN;
- геофильтры (боты часто идут не из Казахстана);
- challenge-страницы (JS-куки), которые AI-бот не проходит — снова пустой или недоступный контент;
- расхождение origin vs edge: на origin 200, на CDN — капча.
Без логов вы спорите о robots.txt вслепую. Методика выборки — в анализе логов сервера для SEO. Если сайт ещё и на CSR без SSR, «открытый» бот всё равно увидит пустышку — см. JS-рендеринг и SEO.
Практическая политика для малого и среднего бизнеса
- Зафиксировать цель. Нужны ли упоминания в AI-ответах сильнее, чем запрет на обучение? Для локальных услуг в Алматы часто важнее цитирование и поиск.
- Разделить агентов. Не ставить один Disallow: / на весь «AI» скопом, если вендор разделяет training и search.
- Закрыть чувствительное. Личные кабинеты, PDF с договорами, страницы с телефонами сотрудников вне публичного оферта — Disallow или auth.
- Не трогать Googlebot «за компанию». Google-Extended — это не Googlebot; ошибка в копии правил бьёт по классическому SEO.
- Проверить HTML. Разрешённый бот без контента в исходнике бесполезен.
- Пересмотреть через 30–60 дней по логам и упоминаниям — не по ощущениям из чата руководства.
Для стратегии в выдаче Google полезны SEO в Google и отчётность по AI Overviews в Search Console. Индексационные сбои смотрите отдельно: Discovered — not indexed, перелинковка — orphan-страницы, скорость посадочных — INP и сторонние скрипты.
Чего не делать
- Полагаться на llms.txt как на «разрешение цитировать» — Google это не описывает как фактор; см. мифы GEO/AEO.
- Копировать Disallow всех AI-ботов с зарубежного SaaS без чтения, кто из них search.
- Закрывать CSS/JS для Googlebot, «чтобы ИИ не украл вёрстку» — ломаете понимание страницы поисковиком.
- Менять robots.txt раз в неделю без журнала изменений — невозможно отладить просадку обхода.
- Игнорировать 403 на edge при «зелёном» robots.txt.
Стоимость работ
| Формат | Стоимость | Комментарий |
|---|---|---|
| Технический SEO-аудит | от 150 000 ₸ | robots, индекс, CWV |
| Аудит + логи 30 дней | +50 000 – 80 000 ₸ | боты vs люди |
| SEO-продвижение | от 250 000 ₸/мес | контент + техника |
| Продвижение в Google | по пакету | услуга Google SEO |
Цены Astrix.kz. Политика ботов входит в техблок; отдельно «настройка llms.txt» как продукт мы не продаём.
Мини-регламент на одну страницу
Владелец продукта отвечает за решение «обучение да/нет». SEO-специалист готовит таблицу агентов и текст robots.txt. Администратор CDN/WAF подтверждает, что Allow не перечёркивается периметром. Раз в месяц — 20 строк из логов по GPTBot/ClaudeBot/Googlebot: код ответа, объём байт, топ URL. Раз в квартал — пересмотр в связке с SEO-аудитом и поддержкой сайта через сопровождение сайта, если правила правят на хостинге.
Так политика перестаёт быть «файлом из чата» и становится управляемым контролем доступа к контенту — без магии и без паники.
Итог
В Казахстане решайте AI-доступ через robots.txt и периметр, а не через llms.txt. Разделяйте обучение и поиск: GPTBot, OAI-SearchBot, ClaudeBot, Google-Extended — разные смыслы Allow. Проверяйте CDN/WAF и логи, иначе «открытая» политика останется на бумаге. Помощь: SEO Astrix.kz, аудит от 150 000 ₸, продвижение в Google. Рядом: мифы GEO, JS-рендеринг, логи сервера.
По теме в кластере: Как читать отчёт SEO-аудита в Казахстане.
Связанные услуги
Частые вопросы
Главное отличие: GPTBot чаще связан с обучением и сбором корпуса. OAI-SearchBot — с поисковым сценарием OpenAI. В robots.txt их Allow/Disallow задают отдельно: «открыть поиск» — не то же, что «отдать всё на обучение».
Нет. robots.txt — рабочий периметр доступа ботов. llms.txt не управляет обходом Google и большинства AI-краулеров; в Казахстане сначала политика Allow/Disallow и проверка логов.
Точечный Disallow на фильтры, служебные и тестовые пути; Allow на услуги и ключевые статьи — Не «закрыть весь сайт» и не «открыть всё подряд» одной строкой.
CDN или WAF (межсетевой экран приложений) может отдавать 403/429 боту, пока файл «разрешает» — Сверяйте access-логи и правила периметра, не только текст robots.txt.
от 150 000 ₸ — Блок входит в SEO-аудит: robots.txt, CDN/WAF, выборка логов. Сопровождение правил — в SEO от 250 000 ₸/мес.
Редко. Закрытие обучения — не запрет поисковых ботов. Для цитирования в AI-ответах нужен и доступ, и HTML с контентом — иначе Allow бесполезен.
Выборка access-логов за 14–30 дней по User-Agent, кодам ответа и топу URL — Без логов спор о robots.txt остаётся теорией — особенно за CDN.
Да. Открытый бот на SPA (одностраничном приложении) без HTML в исходнике всё равно видит пустышку. Сначала контент в ответе сервера, потом тонкая настройка Allow.
Это отдельная директива под использование контента экосистемой Google, не замена Disallow Googlebot — Решение — по политике бренда; индекс поиска от этого не «включают кнопкой».
Диагностика — SEO-аудит от 150 000 ₸; правки и контроль — SEO Astrix.kz для компаний в Алматы и Казахстане.
Нужна помощь с SEO?
Команда Astrix.kz реализует проекты для бизнеса в Казахстане с 2019 года.
