← Гайды

Как проверить, заходит ли GPTBot на ваш сайт

Обновлено 2026-08-03

Зачем проверять, ходит ли GPTBot

GPTBot — краулер OpenAI: он собирает данные для обучения моделей и для ответов ChatGPT. Если бот не может прочитать ваши товары, ассистент назовёт неверную цену, покажет устаревшее наличие или отправит покупателя к конкуренту. Первый шаг — понять, приходит ли бот вообще и что он у вас видит.

По нашему Индексу AI-трафика за 13.07–01.08 три магазина получили около 1 005 146 обращений ИИ-ботов, а один вендор — 606 017 хитов, примерно 34 000 в день. Это уже не фоновый шум: боты ходят постоянно, и их визиты стоит держать под контролем.

Шаг 1. Найдите GPTBot в логах сервера

Самый быстрый способ — grep по User-Agent в access-логе. Для Nginx:

grep -i "GPTBot" /var/log/nginx/access.log

Посчитать визиты в файле:

grep -ic "GPTBot" /var/log/nginx/access.log

OpenAI ходит не только под GPTBot. Проверьте сразу три User-Agent:

grep -iE "GPTBot|OAI-SearchBot|ChatGPT-User" /var/log/nginx/access.log | wc -l

• GPTBot — обучение моделей;
• OAI-SearchBot — поисковый индекс ChatGPT;
• ChatGPT-User — заход в реальном времени по запросу пользователя.

Посмотрите, какие страницы бот читает чаще всего:

grep -i "GPTBot" access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

И обязательно — коды ответов:

grep -i "GPTBot" access.log | awk '{print $9}' | sort | uniq -c | sort -rn

Если товарные картинки отдают 403 или 406, бот приходит, но ничего не видит — это проблема №1 в нашем рейтинге магазинов MD/RO.

Почему одного User-Agent мало

User-Agent — это просто строка, её может выставить кто угодно. Под видом GPTBot к вам приходит парсер конкурента, скупщик или спамер. Отдаёте контент «GPTBot» без проверки — рискуете кормить самозванца; блокируете вслепую — можете закрыть настоящего бота по ошибке.

Поэтому UA-строку всегда нужно подтверждать источником запроса — IP-адресом.

Шаг 2. Сверьте IP с опубликованными диапазонами OpenAI

OpenAI публикует официальные диапазоны в виде JSON: для GPTBot это openai.com/gptbot.json, отдельные файлы есть для SearchBot и ChatGPT-User. В них перечислены CIDR-подсети, с которых ходит настоящий бот.

Алгоритм простой:

1. Возьмите IP из строки лога.
2. Скачайте актуальный файл диапазонов OpenAI.
3. Проверьте, попадает ли IP в один из CIDR.

Быстрая проверка одного адреса через grepcidr:

grepcidr -f openai-ranges.txt <(echo 203.0.113.10)

Классический обратный DNS (так проверяют Googlebot) для OpenAI менее надёжен — вендор рекомендует сверять именно IP-диапазоны. Нет совпадения — перед вами подделка, даже если User-Agent идеален.

Полезное правило: не полагайтесь на JS. Боты, которые исполняют JavaScript, ведут себя как люди; классические краулеры вроде GPTBot JS не исполняют, поэтому в логах вы видите только «сырые» запросы к HTML и файлам.

Что показывает дашборд Botmetria

Ручной grep хорош для разовой проверки, но диапазоны меняются, а логи растут. Botmetria делает это автоматически:

• Детект — распознаёт GPTBot, OAI-SearchBot, ChatGPT-User и ботов других вендоров (Perplexity, Anthropic, Google-Extended) по User-Agent;
• Верификация по IP — сверяет каждый визит с опубликованными диапазонами вендора и помечает подделки;
• Кто ходил — показывает, какие боты приходили, как часто и какие страницы читали.

За минуту вы получаете картину, на разбор которой вручную ушёл бы час. Начните с бесплатного аудита Botmetria — он покажет AI-readiness скор и заметит, если боты упираются в ошибки.

Частые ошибки

• Доверять User-Agent без IP. Половина «ботов» в сыром логе может оказаться подделкой.
• Блокировать GPTBot заодно с поисковиками. Googlebot и Bingbot трогать нельзя — это убивает SEO; в файрволе Botmetria стоит встроенный предохранитель.
• Смотреть только на GPTBot. Реальные покупки готовит и ChatGPT-User — заход в реальном времени по запросу человека.
• Игнорировать коды ответов. 403/406 на картинках означают, что бот пришёл, но ничего не увидел.

Частые вопросы

Связанные гайды

• GPTBot, PerplexityBot, ClaudeBot: кого пускать в robots.txt