Crawl budget: cos'è e a chi interessa davvero

Il crawl budget è la quantità di risorse che un motore di ricerca dedica alla scansione di un sito in un dato periodo. Dipende dalla capacità del server di rispondere senza rallentare e dall’interesse che il motore attribuisce ai contenuti.

Quando è un tema e quando no

Per un sito con poche centinaia di pagine il crawl budget non è un problema: il motore scansiona tutto senza difficoltà. Diventa rilevante sopra le decine di migliaia di indirizzi, tipicamente nei negozi online con filtri e combinazioni che generano un numero enorme di varianti della stessa pagina.

In quei casi il rischio concreto è che il crawler consumi le proprie risorse su pagine irrilevanti — combinazioni di filtri, ordinamenti, parametri di sessione — e torni con meno frequenza sulle schede prodotto che contano.

Come si migliora

Le leve efficaci sono poche: ridurre il numero di indirizzi inutili generati dal sistema, escludere dalla scansione le combinazioni senza valore, mantenere tempi di risposta del server bassi e stabili, evitare lunghe catene di reindirizzamenti.

Va detto con chiarezza perché è un tema su cui si vende molto fumo: se il sito ha duecento pagine, l’ottimizzazione del budget di scansione non produrrà alcun risultato misurabile. È un intervento da grandi cataloghi.

Cosa chiedere all’agenzia

Quando compare in una proposta commerciale, vale la pena capire se il problema esiste davvero nel tuo caso.

Quanti indirizzi distinti genera il nostro sito e quanti hanno valore commerciale?
Quali sono i tempi medi di risposta del server rilevati dal motore?
Le pagine importanti vengono scansionate con quale frequenza rispetto a quelle secondarie?

Errori tipici

Vendere o comprare ottimizzazione del budget di scansione su siti piccoli, dove non ha effetto.
Bloccare la scansione di risorse necessarie a visualizzare correttamente la pagina.
Lasciare che i filtri generino milioni di combinazioni indicizzabili.