De SEOFuxx-crawler leest je sitemap.xml en controleert elke URL daarin: is hij bereikbaar, verwijst hij door of geeft hij een fout?
Waar de crawler naar kijkt
Hij gebruikt de sitemap als uitgangspunt en haalt alle URL's op die erin staan. Per URL legt hij vast:
- de HTTP-status (OK, doorverwijzing, 4xx, 5xx of onbereikbaar)
- of de URL bij de laatste crawl nog in de sitemap stond
- wanneer hij voor het laatst succesvol is geladen
Metagegevens, koppen, afbeeldingen of laadtijden beoordeelt de crawler niet. Hij slaat wel de inhoud van elke gevonden URL op, zodat andere analyses die kunnen gebruiken, zoals de AI-optimalisatiecoach bij SERPs. Voor het controleren van een pagina is er de Page Audit, die altijd één pagina controleert.
Een crawl starten
- Open Crawler in de navigatie
- Vul de Sitemap-URL in, bijv.
https://jouw-website.nl/sitemap.xml. Die moet opsitemap.xmleindigen. Heb je een projectdomein opgeslagen, dan is het veld al ingevuld. - Klik op Crawler starten
Heb je nog geen sitemap, maak er dan een met de sitemaptool.
Automatische crawl
In je account kun je voor je project Auto Crawl inschakelen (zie Account: domein en wachtwoord). De crawl loopt dan zonder dat je iets hoeft te doen. In het overzicht staat bij elke run of die Automatisch, Handmatig of via API is gestart.
De resultaten beoordelen
Het Sitemaprapport laat bovenaan zien hoe het met je sitemap gaat: "Je sitemap is in orde", "n URL('s) in je sitemap.xml hebben aandacht nodig" of "Je sitemap.xml kon niet worden geladen".
Kerncijfers
| Kerncijfer | Betekenis |
|---|---|
| URL's in sitemap | Alle URL's die in de sitemap staan |
| Bereikbaar | URL's die normaal antwoorden |
| Doorverwijzingen | URL's die naar een ander adres doorverwijzen |
| 4xx-fouten | URL's die niet bestaan of die je niet mag opvragen |
| 5xx-fouten | URL's waarbij je server een fout meldt |
| Verouderde vermeldingen | URL's die vroeger in de sitemap stonden en inmiddels verdwenen zijn |
Probleem-URL's
De tabel Probleem-URL's noemt bij elke opvallende URL de status, de HTTP-status, het probleem en het moment waarop hij voor het laatst kon worden geladen.
Crawlgeschiedenis
De Crawlgeschiedenis toont de eerdere runs met datum, domein, aanleiding, sitemapstatus, fouten en duur. Zo zie je of het beter wordt.
Veelvoorkomende problemen oplossen
De sitemap kon niet worden geladen
Zolang de sitemap niet bereikbaar is, kunnen noch SEOFuxx noch Google je pagina's erdoor vinden. Controleer of het bestand bestaat, op het ingevoerde adres staat en niet wordt geblokkeerd door de robots.txt of een wachtwoordbeveiliging.
4xx-fouten en dode links
Dode vermeldingen in de sitemap kosten crawlbudget en schaden je ranking. Haal ze uit de sitemap.xml of repareer de pagina's, het best met een 301-doorverwijzing naar een passende pagina.
Doorverwijzingen
Staat er in de sitemap een URL die doorverwijst, vul dan meteen het doel in. Dan hoeft geen crawler een omweg te maken.
5xx-fouten
Je server kon de aanvraag niet aan. Kijk in de serverlogs en controleer of de pagina ook in de browser blijvend fouten geeft.