Ich möchte, dass unsere interne Suchergebnisseite nicht in Google erscheint. Reicht ein Disallow in der robots.txt?
robots.txt Disallow oder noindex – was nehme ich?
Nein, das ist ein häufiger Irrtum. Disallow verbietet das Crawlen, nicht das Indexieren. Eine per Disallow gesperrte URL kann trotzdem im Index auftauchen, wenn andere Seiten darauf verlinken, dann allerdings ohne Beschreibung.
Um eine Seite sicher aus dem Index zu bekommen, brauchst du noindex (Meta-Robots-Tag oder X-Robots-Tag im Header). Und: Google muss die Seite dafür crawlen dürfen, um das noindex zu sehen. Ein gleichzeitiges Disallow verhindert das.
Für deine interne Suche:
1. Disallow aus der robots.txt entfernen, falls vorhanden.
2. Auf den Ergebnisseiten <meta name="robots" content="noindex"> setzen.
3. Warten, bis Google die Seiten neu gecrawlt hat und sie aus dem Index verschwinden.
4. Erst danach (optional) wieder per Disallow sperren, wenn du Crawling sparen willst.
robots.txt ist für Crawl-Steuerung da, nicht als Schutz. Vertrauliche Inhalte gehören hinter ein Login.
Um eine Seite sicher aus dem Index zu bekommen, brauchst du noindex (Meta-Robots-Tag oder X-Robots-Tag im Header). Und: Google muss die Seite dafür crawlen dürfen, um das noindex zu sehen. Ein gleichzeitiges Disallow verhindert das.
Für deine interne Suche:
1. Disallow aus der robots.txt entfernen, falls vorhanden.
2. Auf den Ergebnisseiten <meta name="robots" content="noindex"> setzen.
3. Warten, bis Google die Seiten neu gecrawlt hat und sie aus dem Index verschwinden.
4. Erst danach (optional) wieder per Disallow sperren, wenn du Crawling sparen willst.
robots.txt ist für Crawl-Steuerung da, nicht als Schutz. Vertrauliche Inhalte gehören hinter ein Login.
Is this content helpful?
·