← Гайды

ИИ-боты грузят магазин: сотни тысяч запросов (данные индекса)

Обновлено 2026-08-03

Сколько ИИ-боты грузят на самом деле

Цифры из нашего Индекса AI-трафика №1 (период 13.07–01.08.2026, панель из трёх магазинов: два в Молдове, один в Грузии):

• один только ИИ-вендор — 606 017 запросов к одному магазину, около 34 000 в день;
• из них лишь 8 дошли до карточек товаров — остальное ушло на служебные страницы и фильтры категорий;
• у самого машиночитаемого магазина панели боты прочитали 73 715 карточек товаров.

Больше 600 тысяч запросов от одного вендора к одному небольшому магазину примерно за три недели звучит пугающе. Но прежде чем резать доступ, разберёмся, что это значит для сервера.

Много это или мало для вашего сервера

Переведём в запросы в секунду. 34 000 хитов в день от топ-вендора — это в среднем меньше 0,4 запроса в секунду. Для любого хостинга это ничто... в среднем. Проблема не в среднем, а в пиках: краулеры не размазывают нагрузку равномерно, а ходят волнами — десятки запросов за секунду, потом тишина.

Дальше всё зависит от того, что именно отдаёт сервер:

• Статика и кэш. Если страница товара и картинки отдаются из кэша или с CDN, даже сотни тысяч хитов почти не нагружают origin.
• Динамика. Если каждый заход бота — это запрос в PHP и базу (несформированный кэш, персонализация, тяжёлые фильтры), тот же трафик уже ощутим.

Отдельная история — из этих 606 017 запросов до карточек товаров дошли лишь 8, остальное — служебные страницы и фильтры категорий. Если такие страницы генерируются динамически при каждом заходе, вы платите за каждый запрос.

Когда пора волноваться

Смотрите не на абсолютное число хитов, а на симптомы:

• выросло время ответа origin, особенно на карточках товара;
• в логах появились 5xx и таймауты в часы, когда людей мало;
• CPU и база упираются в потолок без роста человеческого трафика;
• картинки товаров отдают ботам 403/406.

Последний пункт коварный. Это не самая частая проблема в нашем рейтинге 63 магазинов MD/RO — чаще всего там нет или неполон JSON-LD Product, — но бьёт она дважды: бот получает 403 на картинку, считает ответ ошибкой и приходит ещё раз. Вы одновременно теряете видимость товара в ИИ и получаете лишнюю нагрузку от повторов. Почини картинки — и часть «агрессии» ботов исчезнет сама.

Как посмотреть свою нагрузку

1. Откройте access-логи и отфильтруйте по User-Agent известных ботов: GPTBot, OAI-SearchBot, ChatGPT-User, PerplexityBot, ClaudeBot, Google-Extended, Bytespider, CCBot.
2. Посчитайте долю ботов в общем числе запросов и распределение по часам — так видно пики.
3. Проверяйте по IP, а не только по имени. User-Agent легко подделать: под GPTBot часто прячется чужой скребок. Botmetria сверяет ботов с опубликованными IP-диапазонами вендоров (или с обратным DNS) и показывает самозванцев отдельно.

Нет времени грепать логи? Подключите аналитику Botmetria (плагин для WooCommerce, Cloudflare Worker или серверный коллектор) — она покажет обращения ИИ-ботов по вендорам и страницам. Бесплатный аудит Botmetria нагрузку не измеряет: категория «Гигиена» лишь проверяет, как главная отвечает GPTBot и как быстро. Ориентир по рынку даёт Индекс AI-трафика.

Как мягко ограничить агрессивных краулеров

Цель — снять нагрузку, но не потерять ботов, которые приводят вас в ответы ИИ. Порядок действий от безопасного к жёсткому:

1. Кэшируйте. Самый дешёвый ход. Отдавайте карточки и картинки через CDN и полностраничный кэш. Тогда даже десятки тысяч заходов ботов в день почти ничего не стоят origin.
2. Rate-limit. Ограничьте частоту запросов на IP/подсеть — например, N запросов в секунду с плавным замедлением (429), а не полной блокировкой. Хорошие боты уважают 429 и притормаживают.
3. Файрвол по IP-диапазонам. Если конкретный вендор ходит слишком агрессивно, режьте его точечно — по верифицированным диапазонам, а не по User-Agent (иначе поймаете подделки и промахнётесь по настоящим).

Важное правило безопасности: никогда не блокируйте Googlebot и Bingbot — это классические поисковики, без них умрёт обычное SEO. В файрволе Botmetria этот предохранитель встроен: ИИ-краулеры фильтруются, поисковые — нет.

Чего не делать

• Рубить всё под ноль. Заблокируете GPTBot и OAI-SearchBot — исчезнете из ответов ChatGPT. А именно оттуда пришло 90% ИИ-визитов в индексе.
• Блокировать по User-Agent вслепую. Настоящие боты пострадают, поддельные сменят имя.
• Путать краулеров и людей. Бот, исполняющий JS, — это человек в ассистенте; не исполняющий — краулер. Резать надо только вторых, и то аккуратно.

Хорошая новость: заказов из ИИ в выпуске №1 индекса было 0, но трафик уже реальный. Ваша задача — не выгнать ботов, а сделать так, чтобы они дёшево читали ваши товары. Тогда нагрузка станет управляемой, а магазин — видимым для ИИ.

Частые вопросы