Tag noindex
Dyrektywą noindex mówisz wyszukiwarkom, że strona nie ma być włączona do indeksu wyszukiwania. Ustawiasz ją jako meta tag w nagłówku strony albo jako nagłówek HTTP. W odróżnieniu od robots.txt noindex nie steruje crawlowaniem, tylko tym, czy pobrana strona pojawia się w wynikach.
Jak ustawić noindex
- Meta tag w nagłówku strony: obowiązuje dla wszystkich wyszukiwarek, które znają tę dyrektywę.
- Meta tag tylko dla Google:
googlebotzamiastrobotsjako nazwa. - Nagłówek HTTP
X-Robots-Tag: rozwiązanie dla plików bez HTML, takich jak PDF-y, obrazy i filmy.
<!-- dla wszystkich wyszukiwarek -->
<meta name="robots" content="noindex">
<!-- tylko dla Google -->
<meta name="googlebot" content="noindex">
<!-- łączenie noindex z innymi dyrektywami -->
<meta name="robots" content="noindex, nofollow">
# Apache: nie indeksuj plików PDF
<FilesMatch ".pdf$">
Header set X-Robots-Tag "noindex"
</FilesMatch>
Strona musi pozostać dostępna do pobrania
Google musi wczytać stronę, żeby zobaczyć dyrektywę. Jeśli strona jest zablokowana w robots.txt, noindex pozostaje niewidoczny, a adres może mimo to pojawić się w wynikach, jeśli linkują do niego inne strony. Nie blokuj więc strony w robots.txt, jeśli ma zniknąć z indeksu.
Wiersza noindex w samym robots.txt Google nie uwzględnia. Inne wyszukiwarki mogą interpretować go inaczej, strona może tam nadal się pojawiać.
Jak długo to trwa
Google dowiaduje się o zmianie dopiero przy następnym pobraniu strony. Przy mniej ważnych stronach może to potrwać miesiące. Przez inspekcję adresu URL w Google Search Console możesz zainicjować nowe pobranie. Do szybkiego usunięcia Google odsyła do narzędzia usuwania w Search Console, które tymczasowo ukrywa stronę.
Kiedy noindex pasuje
- Strony bez własnej wartości wyszukiwania: wewnętrzne wyniki wyszukiwania, kombinacje filtrów, strony potwierdzenia i podziękowania
- Obszary dla odwiedzających, które nie mają pojawiać się w wynikach, na przykład wersje robocze lub wersje do druku
- Pliki takie jak PDF-y, których nie chcesz mieć w wyszukiwarce
Kiedy nie
- Podwójne strony: tu lepszym wyborem jest canonical, bo łączy sygnały (zobacz Duplicate content).
- Treści poufne: noindex niczego nie ukrywa przed odwiedzającymi. Takie strony chroń logowaniem.
- Sterowanie crawlowaniem: Google nadal pobiera stronę, żeby sprawdzić noindex. Nie nadaje się do oszczędzania czasu crawlowania (zobacz Crawl budget).
Częste błędy
- noindex i blokada w robots.txt jednocześnie: dyrektywa nigdy nie zostanie odczytana.
- Zapomniany noindex w szablonie: dyrektywa ze środowiska testowego, która wędruje na produkcję, usuwa całą stronę z indeksu.
- Strona w mapie witryny i z noindex: to się wzajemnie wyklucza. W mapie witryny powinny być tylko strony, które mają się pojawiać.
- Różne dyrektywy na mobile i desktopie: Google ocenia wersję mobilną (zobacz Indeksowanie mobile-first).
- Opieranie się na działaniu linków: to, czy linki ze strony z noindex są na dłuższą metę nadal oceniane, nie jest zapewnione.
Pojęcia powiązane
- robots.txt: sterowanie crawlowaniem
- Duplicate content: łączenie podwójnych stron
- Sitemap.xml: zgłaszanie adresów wyszukiwarkom
- Google Search Console: sprawdzanie indeksowania
Źródła
- Google Search Central: Blokowanie indeksowania regułą noindex