Zaloguj się

Crawlery AI

Zaktualizowano: 3 min czytania Redakcja SEOFuxx

Crawlery AI to boty, którymi dostawcy AI pobierają strony internetowe, albo żeby zbierać dane treningowe dla swoich modeli, albo żeby przy zapytaniu użytkownika wczytać aktualne treści. Wielu dostawców używa do tego oddzielnych user-agentów, dzięki czemu trening i wyszukiwanie można kontrolować osobno.

Trzy rodzaje dostępu

U większości dostawców można rozróżnić trzy cele:

  • Trening: bot zbiera teksty, które mogą później trafić do treningu nowych wersji modeli.
  • Wyszukiwanie: bot buduje indeks, z którego system przy pytaniach wybiera i cytuje źródła.
  • Pobranie na zlecenie użytkownika: bot wczytuje dokładnie tę stronę, którą użytkownik podał na czacie albo której system potrzebuje do odpowiedzi.
DostawcaTreningWyszukiwaniePobranie dla użytkownika
OpenAIGPTBotOAI-SearchBotChatGPT-User
AnthropicClaudeBotClaude-SearchBotClaude-User
Perplexity–PerplexityBotPerplexity-User
GoogleGoogle-Extended (token)Googlebot–
Common CrawlCCBot––

Google-Extended nie jest osobnym crawlerem, tylko tokenem dla robots.txt. Reguluje, czy treści mogą być używane do treningu i groundingu Gemini, i nie ma wpływu na wyszukiwarkę Google ani na AI Overviews. Dla nich obowiązują mechanizmy sterowania wyszukiwarki Google: strona musi być zaindeksowana i dopuszczona do snippetów, żeby została podlinkowana jako źródło. Kto nie chce się tam pojawiać, ogranicza wyświetlanie w samej wyszukiwarce, na przykład przez nosnippet.

Sterowanie przez robots.txt

Przez robots.txt ustalasz osobno, czy Twoje treści mogą być używane do treningu i czy mogą pojawiać się w wyszukiwarkach AI. Kto blokuje crawlery wyszukiwania, nie może być cytowany jako źródło w odpowiednich systemach.

# Zakaz treningu AI, zezwolenie na wyszukiwanie AI
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

Blokada botów treningowych dotyczy tylko przyszłego treningu. To, co model zna już z wcześniejszych danych, nie zostaje przez nią cofnięte.

Czego robots.txt nie potrafi

  • To prośba, nie blokada. Rzetelni dostawcy się do niej stosują, technicznie nie da się tego wyegzekwować.
  • Pobrania na zlecenie użytkowników są według informacji niektórych dostawców traktowane przez robots.txt wcale lub tylko w ograniczonym stopniu, bo pobranie wywołał człowiek. Przeczytaj w tej sprawie dokumentację danego dostawcy.
  • User-agent można podrobić. Kto chce mieć pewność, sprawdza dodatkowo adres IP. Kilku dostawców publikuje zakresy adresów swoich crawlerów.

Rozpoznawanie i sprawdzanie crawlerów

W logach serwera widzisz, które boty pobierają Twoje strony i jak często. Filtruj według nazw z tabeli. Sprawdź też, czy usługa włączona przed serwerem, taka jak CDN lub firewall, nie blokuje botów AI zbiorczo. Niektórzy dostawcy oferują do tego przełączniki lub reguły domyślne, a wtedy najlepszy robots.txt nic nie da.

Wiele crawlerów AI nie wykonuje JavaScriptu. Ważne treści powinny więc stać w dostarczanym HTML (zobacz JavaScript SEO).

Częste błędy

  • Zbiorcza blokada wszystkich botów AI: kto wyklucza także crawlery wyszukiwania, nie pojawia się w tych systemach jako źródło.
  • Uwzględnienie tylko jednego bota dostawcy: trening, wyszukiwanie i pobranie użytkownika to osobne nazwy. Reguła dla GPTBot nie obowiązuje dla OAI-SearchBot.
  • Błędny zapis nazw: robots.txt porównuje nazwę bota. Literówka czyni regułę bezskuteczną.
  • Brak zaglądania: dostawcy dodają i zmieniają swoje boty. Sprawdzaj listę od czasu do czasu z aktualną dokumentacją.

Pojęcia powiązane

Źródła

Czy ta treść jest pomocna?

·