Crawler einrichten und nutzen

Der SEOFuxx Crawler liest deine sitemap.xml und prüft jede URL darin: Ist sie erreichbar, leitet sie weiter oder liefert sie einen Fehler?

Was der Crawler anschaut

Er nimmt die Sitemap als Ausgangspunkt und ruft alle URLs auf, die darin stehen. Für jede URL hält er fest:

den HTTP-Status (OK, Weiterleitung, 4xx, 5xx oder nicht erreichbar)
ob die URL beim letzten Crawl noch in der Sitemap stand
wann sie zuletzt erfolgreich geladen wurde

Meta-Daten, Überschriften, Bilder oder Ladezeiten wertet der Crawler nicht aus. Er speichert aber den Inhalt jeder gefundenen URL, damit andere Auswertungen darauf zugreifen können, etwa der KI-Optimierungscoach unter SERPS. Für die Prüfung einer Seite gibt es den Page Audit, der immer eine einzelne Seite prüft.

Crawl starten

Öffne Crawler in der Navigation
Trage die Sitemap URL ein, z.B. https://deine-website.de/sitemap.xml. Sie muss auf sitemap.xml enden. Mit hinterlegter Projekt-Domain ist das Feld vorausgefüllt.
Klicke auf Crawler starten

Fehlt dir noch eine Sitemap, erzeugst du sie mit dem Sitemap-Tool.

Das Crawler-Formular mit Sitemap URL und dem Button Crawler starten

Automatischer Crawl

In deinem Konto kannst du für das Projekt Auto Crawl einschalten (siehe Konto: Domain und Passwort). Dann läuft der Crawl ohne dein Zutun. In der Übersicht steht bei jedem Lauf, ob er Automatisch, Manuell oder per API ausgelöst wurde.

Ergebnisse auswerten

Der Sitemap-Report zeigt dir oben, wie es um die Sitemap steht: "Deine Sitemap ist sauber", "n URL(s) in deiner sitemap.xml brauchen Aufmerksamkeit" oder "Deine sitemap.xml konnte nicht geladen werden".

Kennzahlen

Kennzahl	Bedeutung
URLs in Sitemap	Alle URLs, die in der Sitemap stehen
Erreichbar	URLs, die normal antworten
Weiterleitungen	URLs, die auf eine andere Adresse umleiten
Fehler 4xx	URLs, die es nicht gibt oder die du nicht abrufen darfst
Fehler 5xx	URLs, bei denen dein Server einen Fehler meldet
Veraltete Einträge	URLs, die früher in der Sitemap standen und inzwischen verschwunden sind

Problem-URLs

Die Tabelle Problem-URLs nennt zu jeder auffälligen URL den Zustand, den HTTP-Status, das Problem und den Zeitpunkt, wann sie zuletzt geladen werden konnte.

Crawl-Verlauf

Der Crawl-Verlauf listet die bisherigen Läufe mit Datum, Domain, Auslöser, Sitemap-Zustand, Fehlern und Dauer. So siehst du, ob es besser wird.

Tipp: Lass den Crawler ab und zu laufen, etwa einmal im Monat, oder schalte Auto Crawl ein. Dann fällt dir auf, wenn sich etwas verschlechtert, bevor es im Ranking ankommt.

Häufige Probleme beheben

Die Sitemap konnte nicht geladen werden

Solange die Sitemap nicht erreichbar ist, kann weder SEOFuxx noch Google deine Seiten darüber finden. Prüfe, ob die Datei existiert, unter der eingetragenen Adresse liegt und nicht durch die robots.txt oder einen Passwortschutz blockiert wird.

Fehler 4xx und Broken Links

Tote Einträge in der Sitemap kosten Crawl-Budget und schaden deinem Ranking. Entferne sie aus der sitemap.xml oder repariere die Seiten, am besten mit einer 301-Weiterleitung auf eine passende Seite.

Weiterleitungen

Steht in der Sitemap eine URL, die weiterleitet, trage lieber gleich das Ziel ein. So muss kein Crawler einen Umweg gehen.

Fehler 5xx

Dein Server hat den Abruf nicht verkraftet. Schau in die Server-Logs und prüfe, ob die Seite auch im Browser dauerhaft Fehler liefert.

Achtung: Bei großen Websites mit vielen tausend URLs kann ein Crawl länger dauern. Starte ihn am besten nachts oder außerhalb der Stoßzeiten.

Ist dieser Inhalt hilfreich?