Accedi

Crawl budget

Aggiornato il: 3 min di lettura Redazione SEOFuxx

Il crawl budget è la quantità di pagine che Google può e vuole richiamare sul tuo sito. Nasce da due grandezze: quanto il tuo server regge (capacità di scansione) e quanto Google vuole richiamare le tue pagine (domanda di scansione). Per la maggior parte dei siti non è un tema; per i siti molto grandi contribuisce a decidere con quale rapidità pagine nuove e modificate arrivano nell'indice.

Per chi è importante

Google indica due valori di riferimento approssimativi, non limiti rigidi:

  • Siti con più di un milione di pagine uniche, il cui contenuto cambia più o meno ogni settimana
  • Siti con più di 10.000 pagine uniche, il cui contenuto cambia ogni giorno
  • Siti in cui molti indirizzi in Search Console risultano «Rilevata, attualmente non indicizzata»

Tutti gli altri di norma non devono occuparsene. Bastano una sitemap aggiornata e un'occhiata al report sull'indicizzazione delle pagine.

I due componenti

GrandezzaSignificatoCosa la influenza
Capacità di scansioneLimite massimo perché Google non sovraccarichi il tuo serverTempi di risposta ed errori: risposte stabili e veloci la aumentano, rallentamenti, errori 5xx e lo stato 429 la riducono
Domanda di scansioneQuanto Google vuole richiamare le tue pagineDimensione del sito, frequenza delle modifiche, qualità e popolarità delle pagine, oltre a grandi eventi come un trasloco

La capacità la condividono tutti i crawler di Google. Se uno ne richiama moltissime, per gli altri ne resta meno. Sulla domanda influisci soprattutto tramite il numero di indirizzi: molti indirizzi doppi o poco importanti vincolano tempo di scansione.

Cosa puoi migliorare

  • Unire i contenuti duplicati: con canonical o redirect (vedi Contenuti duplicati)
  • Bloccare gli indirizzi poco importanti: ad esempio combinazioni di filtri o ID di sessione tramite robots.txt, se non devono mai essere scansionati
  • Rispondere correttamente alle pagine rimosse: con 404 o 410, non con una pagina vuota e stato 200 (soft 404)
  • Curare la sitemap: mantenerla aggiornata e impostare lastmod solo per modifiche reali
  • Evitare catene di redirect: ogni passaggio costa un richiamo
  • Accelerare il server: tempi di risposta più brevi consentono più richiami, aiuta anche il caching HTTP con lo stato 304

Cosa non aiuta

  • noindex come misura di risparmio: Google continua a richiamare la pagina per verificare il noindex. Non fa risparmiare tempo di scansione.
  • robots.txt come ridistribuzione temporanea: il budget liberato non va automaticamente ad altre pagine, finché Google non arriva al limite di capacità. Il robots.txt è pensato per indirizzi che vuoi permanentemente non scansionati.

Come verificarlo

  • Il report «Statistiche di scansione» nelle impostazioni di Google Search Console mostra richiami al giorno, tempi di risposta ed errori.
  • Il report sull'indicizzazione delle pagine indica quali indirizzi sono stati rilevati ma non indicizzati.
  • I log del server mostrano quali aree i bot richiamano davvero e con che frequenza.

Errori frequenti

  • Ottimizzare il crawl budget anche se il sito è piccolo: il problema allora sta quasi sempre altrove, ad esempio nel contenuto o nel linkaggio.
  • Spazi di indirizzi infiniti: calendari, filtri e pagine di ricerca generano un numero qualsiasi di varianti.
  • Pagine di errore con stato 200: vengono trattate come pagine vere e continuano a essere scansionate.
  • Server lento: chi fa aspettare a lungo Google riceve meno richiami.

Termini correlati

Fonti

Questo contenuto ti è stato utile?

·