robots.txt

Come funziona il file

Prima di richiamare una pagina, un crawler carica il robots.txt del dominio e verifica se per il suo nome vale una regola. Il formato è standardizzato dal 2022 come RFC 9309. Il file è costituito da gruppi, ciascuno dei quali inizia con una riga User-agent e raccoglie sotto di essa le regole per quel bot.

Nei percorsi * sta per un numero qualsiasi di caratteri e $ per la fine dell'indirizzo. Se corrispondono più regole, per Google vale la più precisa, cioè quella con il percorso più lungo. I percorsi distinguono maiuscole e minuscole, i nomi dei bot no.

# robots.txt: esempio di una configurazione tipica
User-agent: *
Allow: /
Disallow: /admin/
Disallow: /tmp/
Disallow: /*?sessionid=

# Registrare la sitemap
Sitemap: https://www.tuodominio.it/sitemap.xml

Dove deve stare il file

• Direttamente nella directory principale, raggiungibile all'indirizzo https://www.tuodominio.it/robots.txt. In una sottocartella non viene trovato.
• Vale solo per l'host, la porta e il protocollo sotto cui si trova. Ogni sottodominio ha bisogno di un file proprio.
• Il file è testo UTF-8. Google legge solo i primi 500 KiB.
• Se il server risponde con 404, tutto è considerato consentito. In caso di errore del server (5xx) Google sospende prima la scansione del sito e poi usa per un massimo di 30 giorni l'ultima versione salvata.

Cosa non può fare il robots.txt

• Non protegge i contenuti. Il file è leggibile pubblicamente e non tutti i bot lo rispettano. Le cose riservate vanno dietro un login.
• Non impedisce l'indicizzazione. Un indirizzo bloccato può comunque comparire nell'indice se altre pagine lo linkano, ma allora senza descrizione.
• Non sostituisce noindex. Chi vuole togliere una pagina dall'indice usa il tag noindex. Il crawler deve poter richiamare la pagina, altrimenti non vedrà mai la direttiva. Una riga noindex nel robots.txt Google dal 2019 non la considera più.
• Non regola la velocità di richiamo in Google. Crawl-delay Google lo ignora, altri motori di ricerca lo considerano in parte.

Il relativo meta tag robots nell'HTML:

<!-- Indicizza la pagina e segui i link (predefinito) -->
<meta name="robots" content="index, follow">

<!-- NON indicizzare la pagina -->
<meta name="robots" content="noindex, nofollow">

robots.txt e crawler IA

Anche i bot dei fornitori di IA si attengono al robots.txt. Addestramento e ricerca hanno presso la maggior parte dei fornitori nomi propri e si possono consentire o bloccare separatamente, maggiori informazioni in Crawler IA.

Verificare e testare

• Apri il file nel browser e controlla indirizzo, stato 200 e contenuto.
• Il report «robots.txt» in Google Search Console mostra quale versione ha caricato Google e se compaiono errori.
• Verifica singolarmente gli indirizzi importanti per vedere se sono bloccati da una regola, soprattutto dopo ogni relaunch.

Errori frequenti

• Disallow: / dall'ambiente di test: se il file viene ripreso dal sistema di staging, l'intero sito è bloccato. È l'errore più frequente e più costoso.
• Bloccare i file CSS e JavaScript: Google deve poter mostrare le pagine come le vede un visitatore. Le risorse bloccate peggiorano la comprensione della pagina.
• Bloccare pagine con noindex: il bot non vede il noindex e l'indirizzo può restare nell'indice.
• Trascurare maiuscole e minuscole: /Admin/ e /admin/ sono due percorsi diversi.
• Schemi troppo ampi: un Disallow: /prodotto blocca anche /prodotti/ e /produzione.

Termini correlati

• Sitemap.xml: segnalare gli URL ai motori di ricerca
• Tag noindex: togliere una pagina dall'indice
• Crawl budget: quante pagine richiama un bot
• Crawler IA: controllare i bot dei fornitori di IA
• llms.txt: file di orientamento proposto per i modelli linguistici

Fonti

• IETF: RFC 9309: Robots Exclusion Protocol (2022)
• Google Search Central: Introduzione a robots.txt