Configurare e usare il crawler

Il crawler di SEOFuxx legge il tuo file sitemap.xml e controlla ogni URL al suo interno: è raggiungibile, reindirizza o restituisce un errore?

Cosa guarda il crawler

Prende la sitemap come punto di partenza e richiama tutti gli URL che vi sono elencati. Per ogni URL registra:

  • lo stato HTTP (OK, redirect, 4xx, 5xx oppure non raggiungibile)
  • se l'URL nell'ultima scansione era ancora nella sitemap
  • quando è stato caricato con successo l'ultima volta

Meta dati, titoli, immagini o tempi di caricamento il crawler non li valuta. Salva però il contenuto di ogni URL trovato, così altre analisi possono accedervi, ad esempio il coach di ottimizzazione IA in SERPS. Per controllare una pagina c'è il Page Audit, che controlla sempre una singola pagina.

Avviare una scansione

  1. Apri Crawler nella navigazione
  2. Inserisci l'URL della sitemap, ad es. https://tuo-sito.it/sitemap.xml. Deve terminare con sitemap.xml. Se hai salvato il dominio del progetto, il campo è precompilato.
  3. Clicca su Avvia crawler

Se non hai ancora una sitemap, la generi con lo strumento Sitemap.

Il modulo del crawler con URL della sitemap e il pulsante Avvia crawler
Il modulo del crawler con URL della sitemap e il pulsante Avvia crawler

Scansione automatica

Nel tuo account puoi attivare per il progetto Auto Crawl (vedi Account: dominio e password). Allora la scansione procede senza il tuo intervento. Nella panoramica, per ogni esecuzione si vede se è stata avviata in modo automatico, manuale o tramite API.

Valutare i risultati

Il report della sitemap ti mostra in alto come sta la sitemap: «La tua sitemap è pulita», «n URL nella tua sitemap.xml richiedono attenzione» oppure «Non è stato possibile caricare la tua sitemap.xml».

Il report della sitemap con le metriche su URL raggiungibili, redirect ed errori
Il report della sitemap con le metriche su URL raggiungibili, redirect ed errori

Metriche

Metrica Significato
URL nella sitemap Tutti gli URL presenti nella sitemap
Raggiungibili URL che rispondono normalmente
Redirect URL che reindirizzano a un altro indirizzo
Errori 4xx URL che non esistono o che non puoi richiamare
Errori 5xx URL per i quali il tuo server segnala un errore
Voci obsolete URL che un tempo stavano nella sitemap e nel frattempo sono scomparsi

URL problematici

La tabella URL problematici indica per ogni URL anomalo lo stato, lo stato HTTP, il problema e il momento in cui è stato caricato l'ultima volta.

La tabella URL problematici con stato, stato HTTP e momento dell'ultimo caricamento
La tabella URL problematici con stato, stato HTTP e momento dell'ultimo caricamento

Cronologia delle scansioni

La cronologia delle scansioni elenca le esecuzioni finora effettuate con data, dominio, avvio, stato della sitemap, errori e durata. Così vedi se le cose migliorano.

Suggerimento: Fai girare il crawler di tanto in tanto, ad esempio una volta al mese, oppure attiva Auto Crawl. Così ti accorgi di un peggioramento prima che arrivi nel ranking.

Risolvere i problemi frequenti

La sitemap non ha potuto essere caricata

Finché la sitemap non è raggiungibile, né SEOFuxx né Google possono trovare le tue pagine tramite essa. Verifica che il file esista, sia all'indirizzo inserito e non sia bloccato dal robots.txt o da una protezione con password.

Le voci morte nella sitemap costano crawl budget e danneggiano il tuo ranking. Rimuovile dalla sitemap.xml o correggi le pagine, meglio con un redirect 301 verso una pagina adatta.

Redirect

Se nella sitemap c'è un URL che reindirizza, inserisci direttamente la destinazione. Così nessun crawler deve fare un giro più lungo.

Errori 5xx

Il tuo server non ha retto la richiesta. Guarda i log del server e controlla se la pagina restituisce errori stabilmente anche nel browser.

Attenzione: Con siti grandi e molte migliaia di URL una scansione può durare più a lungo. Meglio avviarla di notte o fuori dagli orari di punta.

Questo contenuto ti è stato utile?

·