Accedi

Crawler IA

Aggiornato il: 3 min di lettura Redazione SEOFuxx

I crawler IA sono bot con cui i fornitori di IA richiamano pagine web, o per raccogliere dati di addestramento per i loro modelli o per caricare contenuti aggiornati a una richiesta dell'utente. Molti fornitori usano a questo scopo user agent separati, così addestramento e ricerca si possono controllare singolarmente.

Tre tipi di accesso

Presso la maggior parte dei fornitori si distinguono tre scopi:

  • Addestramento: il bot raccoglie testi che possono poi confluire nell'addestramento di nuove versioni del modello.
  • Ricerca: il bot costruisce un indice dal quale il sistema, davanti a una domanda, sceglie e cita le fonti.
  • Richiamo per conto di un utente: il bot carica esattamente la pagina che un utente ha indicato nella chat o di cui il sistema ha bisogno per una risposta.
FornitoreAddestramentoRicercaRichiamo per l'utente
OpenAIGPTBotOAI-SearchBotChatGPT-User
AnthropicClaudeBotClaude-SearchBotClaude-User
Perplexity–PerplexityBotPerplexity-User
GoogleGoogle-Extended (token)Googlebot–
Common CrawlCCBot––

Google-Extended non è un crawler a sé, ma un token per il robots.txt. Regola se i contenuti possano essere usati per l'addestramento e il grounding di Gemini, e non ha alcun influsso sulla Ricerca Google né sulle AI Overviews. Per queste valgono i controlli della Ricerca Google: una pagina deve essere indicizzata e ammessa agli snippet per essere linkata come fonte. Chi non vuole comparire lì limita la visualizzazione nella ricerca stessa, ad esempio con nosnippet.

Controllo tramite robots.txt

Tramite il robots.txt stabilisci separatamente se i tuoi contenuti possano essere usati per l'addestramento e se possano comparire nelle ricerche IA. Chi blocca i crawler di ricerca non può essere citato come fonte nei rispettivi sistemi.

# Vietare l'addestramento IA, consentire la ricerca IA
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

Un blocco per i bot di addestramento riguarda solo l'addestramento futuro. Ciò che un modello conosce già da dati precedenti non lo annulla.

Cosa non fa il robots.txt

  • È una richiesta, non un blocco. I fornitori seri vi si attengono, tecnicamente non si può imporre.
  • I richiami per conto degli utenti secondo alcuni fornitori non vengono trattati, o solo in modo limitato, secondo il robots.txt, perché il richiamo è stato innescato da una persona. Leggi in merito la documentazione del rispettivo fornitore.
  • Lo user agent si può falsificare. Chi vuole andare sul sicuro verifica in più l'indirizzo IP. Diversi fornitori pubblicano gli intervalli di indirizzi dei loro crawler.

Riconoscere e verificare i crawler

Nei log del server vedi quali bot richiamano le tue pagine e con che frequenza. Filtra per i nomi della tabella. Verifica inoltre se un servizio a monte come un CDN o un firewall blocca in blocco i bot IA. Alcuni fornitori offrono a questo scopo interruttori o regole predefinite, e allora il miglior robots.txt non serve a nulla.

Molti crawler IA non eseguono JavaScript. I contenuti importanti dovrebbero quindi stare nell'HTML servito (vedi SEO per JavaScript).

Errori frequenti

  • Bloccare in blocco tutti i bot IA: chi esclude anche i crawler di ricerca non compare in quei sistemi come fonte.
  • Considerare un solo bot di un fornitore: addestramento, ricerca e richiamo dell'utente sono nomi separati. Una regola per GPTBot non vale per OAI-SearchBot.
  • Scrivere male i nomi: il robots.txt confronta il nome del bot. Un refuso rende la regola inefficace.
  • Non controllare mai: i fornitori aggiungono e modificano i loro bot. Verifica ogni tanto l'elenco con la documentazione attuale.

Termini correlati

Fonti

Questo contenuto ti è stato utile?

·