← Ghiduri

Boții AI încarcă magazinul: sute de mii de cereri (date din index)

Actualizat 2026-08-03

Cât încarcă de fapt boții AI

Cifre din Indexul nostru de trafic AI #1 (perioada 13 iul. – 1 aug. 2026, un panel de trei magazine MD/RO):

• ~1.005.146 de cereri de la boți AI verificați în două săptămâni;
• doar vendorul de top: 606.017 accesări — aproximativ 34.000 de cereri pe zi dintr-o singură sursă;
• cel mai citit produs a fost accesat de 73.715 ori.

Un milion de cereri pentru trei magazine mici în două săptămâni sună alarmant. Înainte să tai accesul boților, hai să vedem ce înseamnă asta pentru server.

E mult pentru serverul tău?

Transformă în cereri pe secundă. 34.000 de accesări pe zi de la vendorul de top înseamnă în medie sub 0,4 cereri/s. Pentru orice hosting e nimic — în medie. Problema sunt vârfurile: crawlerele nu distribuie sarcina uniform, ci vin în valuri — zeci de cereri într-o secundă, apoi liniște.

Ce urmează depinde de ce returnează serverul:

• Static și cache. Dacă paginile de produs și imaginile vin din cache sau de pe un CDN, chiar și sute de mii de accesări abia ating origin-ul.
• Dinamic. Dacă fiecare vizită de bot lovește PHP-ul și baza de date (cache rece, personalizare, filtre grele), același trafic începe să conteze.

Un număr iese în evidență: 73.715 cereri către un singur produs. Dacă pagina se generează din nou la fiecare vizită, plătești pentru ea de 73.000 de ori.

Când să te îngrijorezi cu adevărat

Urmărește simptomele, nu numărul brut de accesări:

• timpul de răspuns al origin-ului crește, mai ales pe paginile de produs;
• apar erori 5xx și timeout-uri în orele cu puțini oameni;
• CPU-ul și baza de date ating plafonul fără creșterea traficului uman;
• imaginile de produs returnează 403/406 boților.

Ultimul punct e viclean. În ratingul nostru cu 63 de magazine MD/RO e problema #1: botul primește 403 la o imagine, tratează răspunsul ca eșec și revine să reîncerce. Pierzi vizibilitatea produsului în răspunsurile AI și primești sarcină în plus din reîncercări, în același timp. Repară imaginile și o parte din „agresivitate" dispare de la sine.

Cum îți vezi propria sarcină

1. Deschide log-urile de acces și filtrează după User-Agent-urile boților cunoscuți: GPTBot, OAI-SearchBot, ChatGPT-User, PerplexityBot, ClaudeBot, Google-Extended, Bytespider, CCBot.
2. Măsoară ponderea boților în totalul cererilor și distribuția pe ore — acolo se văd vârfurile.
3. Verifică după IP, nu doar după nume. Un User-Agent se falsifică ușor; multe scrapere se ascund în spatele lui GPTBot. Botmetria compară fiecare bot cu intervalele IP publicate de vendori și elimină impostorii.

Fără timp de grep prin log-uri? Auditul gratuit Botmetria — categoria „Igienă" arată codurile de răspuns și viteza — plus Indexul de trafic AI îți dau un reper rapid.

Cum limitezi blând crawlerele agresive

Scopul e să reduci sarcina fără să pierzi boții care te aduc în răspunsurile AI. De la sigur la strict:

1. Cache. Cea mai ieftină soluție. Servește paginile și imaginile prin CDN și cache complet de pagină. Atunci chiar și 70.000 de accesări pe un produs costă origin-ul aproape nimic.
2. Rate-limit. Limitează cererile per IP/subrețea — de exemplu N pe secundă cu o încetinire elegantă (429), nu o blocare totală. Boții bine crescuți respectă 429 și încetinesc.
3. Firewall pe intervale IP. Dacă un vendor e chiar prea agresiv, blochează-l punctual după intervalele verificate, nu după User-Agent (altfel prinzi falsuri și ratezi boții reali).

O regulă de siguranță mai presus de toate: nu bloca niciodată Googlebot sau Bingbot. Sunt motoarele clasice de căutare; dacă le pierzi, moare SEO-ul obișnuit. Firewall-ul Botmetria are această siguranță integrată — filtrează crawlerele AI, dar lasă motoarele de căutare neatinse.

Ce să nu faci

• Să tai tot. Blochezi GPTBot și OAI-SearchBot și dispari din răspunsurile ChatGPT — iar 90% dintre vizitele de referral AI din index au venit din ChatGPT.
• Să blochezi orbește după User-Agent. Boții reali suferă; cei falși își schimbă doar numele.
• Să confunzi crawlerele cu oamenii. Un bot care execută JS e un om într-un asistent; unul care nu execută e un crawler. Limitează doar pe al doilea, și cu grijă.

Vestea bună: comenzile din AI în index sunt încă 0, dar traficul e real. Sarcina ta nu e să alungi boții — ci să-i lași să-ți citească produsele ieftin. Atunci sarcina devine gestionabilă, iar magazinul rămâne vizibil pentru AI.

Întrebări frecvente