← Гайды

ИИ-боты грузят магазин: сотни тысяч запросов (данные индекса)

Обновлено 2026-08-03

Сколько ИИ-боты грузят на самом деле

Цифры из нашего Индекса AI-трафика №1 (период 13.07–01.08.2026, панель из трёх магазинов MD/RO):

• всего ~1 005 146 обращений верифицированных ИИ-ботов за две недели;
• топ-вендор — 606 017 хитов, это около 34 000 запросов в день с одного источника;
• самый популярный товар боты прочитали 73 715 раз.

Миллион запросов на три магазина за две недели звучит пугающе. Но прежде чем резать доступ, разберёмся, что это значит для сервера.

Много это или мало для вашего сервера

Переведём в запросы в секунду. 34 000 хитов в день от топ-вендора — это в среднем меньше 0,4 запроса в секунду. Для любого хостинга это ничто... в среднем. Проблема не в среднем, а в пиках: краулеры не размазывают нагрузку равномерно, а ходят волнами — десятки запросов за секунду, потом тишина.

Дальше всё зависит от того, что именно отдаёт сервер:

• Статика и кэш. Если страница товара и картинки отдаются из кэша или с CDN, даже сотни тысяч хитов почти не нагружают origin.
• Динамика. Если каждый заход бота — это запрос в PHP и базу (несформированный кэш, персонализация, тяжёлые фильтры), тот же трафик уже ощутим.

Отдельная история — 73 715 обращений к одному товару. Если эта карточка генерится динамически при каждом заходе, вы платите за неё 73 тысячи раз.

Когда пора волноваться

Смотрите не на абсолютное число хитов, а на симптомы:

• выросло время ответа origin, особенно на карточках товара;
• в логах появились 5xx и таймауты в часы, когда людей мало;
• CPU и база упираются в потолок без роста человеческого трафика;
• картинки товаров отдают ботам 403/406.

Последний пункт коварный. По нашему рейтингу 63 магазинов MD/RO это проблема №1: бот получает 403 на картинку, считает ответ ошибкой и приходит ещё раз. Вы одновременно теряете видимость товара в ИИ и получаете лишнюю нагрузку от повторов. Почини картинки — и часть «агрессии» ботов исчезнет сама.

Как посмотреть свою нагрузку

1. Откройте access-логи и отфильтруйте по User-Agent известных ботов: GPTBot, OAI-SearchBot, ChatGPT-User, PerplexityBot, ClaudeBot, Google-Extended, Bytespider, CCBot.
2. Посчитайте долю ботов в общем числе запросов и распределение по часам — так видно пики.
3. Проверяйте по IP, а не только по имени. User-Agent легко подделать: под GPTBot часто прячется чужой скребок. Botmetria сверяет каждого бота с опубликованными IP-диапазонами вендоров и отсекает самозванцев.

Быстрый способ без грепа логов — бесплатный аудит Botmetria: категория «Гигиена» покажет коды ответов и скорость, а Индекс AI-трафика даёт ориентир, сколько это у других.

Как мягко ограничить агрессивных краулеров

Цель — снять нагрузку, но не потерять ботов, которые приводят вас в ответы ИИ. Порядок действий от безопасного к жёсткому:

1. Кэшируйте. Самый дешёвый ход. Отдавайте карточки и картинки через CDN и полностраничный кэш. Тогда даже 70 тысяч заходов на товар почти ничего не стоят origin.
2. Rate-limit. Ограничьте частоту запросов на IP/подсеть — например, N запросов в секунду с плавным замедлением (429), а не полной блокировкой. Хорошие боты уважают 429 и притормаживают.
3. Файрвол по IP-диапазонам. Если конкретный вендор ходит слишком агрессивно, режьте его точечно — по верифицированным диапазонам, а не по User-Agent (иначе поймаете подделки и промахнётесь по настоящим).

Важное правило безопасности: никогда не блокируйте Googlebot и Bingbot — это классические поисковики, без них умрёт обычное SEO. В файрволе Botmetria этот предохранитель встроен: ИИ-краулеры фильтруются, поисковые — нет.

Чего не делать

• Рубить всё под ноль. Заблокируете GPTBot и OAI-SearchBot — исчезнете из ответов ChatGPT. А именно оттуда пришло 90% ИИ-визитов в индексе.
• Блокировать по User-Agent вслепую. Настоящие боты пострадают, поддельные сменят имя.
• Путать краулеров и людей. Бот, исполняющий JS, — это человек в ассистенте; не исполняющий — краулер. Резать надо только вторых, и то аккуратно.

Хорошая новость: заказов из ИИ в индексе пока 0, но трафик уже реальный. Ваша задача — не выгнать ботов, а сделать так, чтобы они дёшево читали ваши товары. Тогда нагрузка станет управляемой, а магазин — видимым для ИИ.

Частые вопросы