← Ghiduri

Boții AI încarcă magazinul: sute de mii de cereri (date din index)

Actualizat 2026-08-03

Cât încarcă de fapt boții AI

Cifre din Indexul nostru de trafic AI #1 (perioada 13 iul. – 1 aug. 2026, un panel de trei magazine: două din Moldova, unul din Georgia):

• un singur vendor AI: 606 017 cereri către un magazin — aproximativ 34 000 pe zi;
• dintre ele doar 8 au ajuns la paginile de produs — restul au mers pe pagini de serviciu și filtre de categorii;
• la cel mai lizibil magazin din panel, boții au citit 73 715 pagini de produs.

Peste 600 000 de cereri de la un singur vendor către un magazin mic în circa trei săptămâni sună alarmant. Înainte să tai accesul boților, hai să vedem ce înseamnă asta pentru server.

E mult pentru serverul tău?

Transformă în cereri pe secundă. 34 000 de accesări pe zi de la vendorul de top înseamnă în medie sub 0,4 cereri/s. Pentru orice hosting e nimic — în medie. Problema sunt vârfurile: crawlerele nu distribuie sarcina uniform, ci vin în valuri — zeci de cereri într-o secundă, apoi liniște.

Ce urmează depinde de ce returnează serverul:

• Static și cache. Dacă paginile de produs și imaginile vin din cache sau de pe un CDN, chiar și sute de mii de accesări abia ating origin-ul.
• Dinamic. Dacă fiecare vizită de bot lovește PHP-ul și baza de date (cache rece, personalizare, filtre grele), același trafic începe să conteze.

Un număr iese în evidență: din cele 606 017 cereri, doar 8 au ajuns la paginile de produs — restul au lovit pagini de serviciu și filtre de categorii. Dacă aceste pagini se generează din nou la fiecare vizită, plătești pentru fiecare cerere.

Când să te îngrijorezi cu adevărat

Urmărește simptomele, nu numărul brut de accesări:

• timpul de răspuns al origin-ului crește, mai ales pe paginile de produs;
• apar erori 5xx și timeout-uri în orele cu puțini oameni;
• CPU-ul și baza de date ating plafonul fără creșterea traficului uman;
• imaginile de produs returnează 403/406 boților.

Ultimul punct e viclean. Nu e cea mai frecventă problemă din ratingul nostru cu 63 de magazine MD/RO — aceea este JSON-LD Product lipsă sau incomplet —, dar lovește de două ori: botul primește 403 la o imagine, tratează răspunsul ca eșec și revine să reîncerce. Pierzi vizibilitatea produsului în răspunsurile AI și primești sarcină în plus din reîncercări, în același timp. Repară imaginile și o parte din „agresivitate” dispare de la sine.

Cum îți vezi propria sarcină

1. Deschide log-urile de acces și filtrează după User-Agent-urile boților cunoscuți: GPTBot, OAI-SearchBot, ChatGPT-User, PerplexityBot, ClaudeBot, Google-Extended, Bytespider, CCBot.
2. Măsoară ponderea boților în totalul cererilor și distribuția pe ore — acolo se văd vârfurile.
3. Verifică după IP, nu doar după nume. Un User-Agent se falsifică ușor; multe scrapere se ascund în spatele lui GPTBot. Botmetria compară boții cu intervalele IP publicate de vendori (sau cu DNS-ul invers) și raportează impostorii separat.

Fără timp de grep prin log-uri? Conectează analiza Botmetria (pluginul WooCommerce, Cloudflare Worker sau un colector de server) ca să vezi accesările boților AI pe vendori și pe pagini. Auditul gratuit Botmetria nu îți măsoară sarcina: categoria „Igienă” verifică doar cum răspunde pagina principală lui GPTBot și cât de repede. Indexul de trafic AI îți dă un reper de piață.

Cum limitezi blând crawlerele agresive

Scopul e să reduci sarcina fără să pierzi boții care te aduc în răspunsurile AI. De la sigur la strict:

1. Cache. Cea mai ieftină soluție. Servește paginile și imaginile prin CDN și cache complet de pagină. Atunci chiar și zeci de mii de accesări ale boților pe zi costă origin-ul aproape nimic.
2. Rate-limit. Limitează cererile per IP/subrețea — de exemplu N pe secundă cu o încetinire elegantă (429), nu o blocare totală. Boții bine crescuți respectă 429 și încetinesc.
3. Firewall pe intervale IP. Dacă un vendor e chiar prea agresiv, blochează-l punctual după intervalele verificate, nu după User-Agent (altfel prinzi falsuri și ratezi boții reali).

O regulă de siguranță mai presus de toate: nu bloca niciodată Googlebot sau Bingbot. Sunt motoarele clasice de căutare; dacă le pierzi, moare SEO-ul obișnuit. Firewall-ul Botmetria are această siguranță integrată — filtrează crawlerele AI, dar lasă motoarele de căutare neatinse.

Ce să nu faci

• Să tai tot. Blochezi GPTBot și OAI-SearchBot și dispari din răspunsurile ChatGPT — iar 90% dintre vizitele de referral AI din index au venit din ChatGPT.
• Să blochezi orbește după User-Agent. Boții reali suferă; cei falși își schimbă doar numele.
• Să confunzi crawlerele cu oamenii. Un bot care execută JS e un om într-un asistent; unul care nu execută e un crawler. Limitează doar pe al doilea, și cu grijă.

Vestea bună: în ediția nr. 1 a indexului, comenzile din AI au fost 0, dar traficul e real. Sarcina ta nu e să alungi boții — ci să-i lași să-ți citească produsele ieftin. Atunci sarcina devine gestionabilă, iar magazinul rămâne vizibil pentru AI.

Întrebări frecvente