SEOFuxx bots
SEOFuxx gebruikt twee bots: de backlinkcrawler verzamelt openbare links voor een linkindex. De analyzer haalt pagina’s en sitemaps op namens accounthouders. Lees hoe je beide herkent en beheert.
Herkenbare botnaam
seofuxx-crawler
Volledige user agent
Mozilla/5.0 (compatible; seofuxx-crawler/1.2; +https://www.seofuxx.com/seofuxx-crawler)
Backlinkcrawler (seofuxx-crawler)
Huidig crawlgebied
Minimale afstand per host
Paginalimiet per host en ronde
Permanent opgeslagen pagina-inhoud
Backlinkcrawler (seofuxx-crawler)
Wat de crawler doet
SEOFuxx verzamelt de gegevens voor de backlinkindex zelf. De crawler bezoekt websites, haalt links eruit en maakt er een doorzoekbare linkgraaf van.
Openbare pagina's ophalen
De crawler bezoekt openbaar toegankelijke HTML-pagina's binnen het vrijgegeven crawlgebied. De eerste fase richt zich op .de-websites.
Links uitlezen
Interne en externe links, linkattributen en ankerteksten worden uitgelezen. Nieuwe interne URL's kunnen aan de crawlwachtrij worden toegevoegd.
Een linkgraaf opbouwen
De gevonden verbindingen komen in onze eigen backlinkindex, zodat verwijzende pagina's en veranderingen door de tijd zichtbaar worden.
Backlinkcrawler (seofuxx-crawler)
Voorzichtig en controleerbaar
De crawler is ontworpen om afzonderlijke websites zo min mogelijk te belasten en beheerders de controle te geven.
robots.txt wordt gerespecteerd
Regels voor seofuxx-crawler en algemene regels worden volgens RFC 9309 verwerkt. Geblokkeerde paden worden niet bezocht.
Afstand tussen verzoeken
Verzoeken aan dezelfde host gebeuren na elkaar en met minstens twee seconden tussenruimte. Een langere Crawl-delay krijgt voorrang.
Vaste technische grenzen
Het aantal pagina's, de antwoordgrootte en de wachttijd zijn begrensd. Een algemene snelheidslimiet begrenst ook de totale belasting.
Voorzichtig bij fouten
Als robots.txt door een serverfout niet betrouwbaar kan worden opgehaald, behandelt de crawler de host uit voorzorg als geblokkeerd.
Backlinkcrawler (seofuxx-crawler)
Wat we bewaren
We bewaren alleen gegevens die nodig zijn voor de linkgraaf en de technische crawlbesturing.
- Bron- en doel-URL's van gevonden links
- Ankerteksten en linkattributen zoals rel
- Technische metadata zoals status en tijdstip van ophalen
Wat we niet permanent bewaren
De pagina-inhoud wordt alleen in het geheugen verwerkt om links en technische metadata te verzamelen.
- Geen permanente kopie van de HTML-inhoud
- Geen afbeeldingen, video's of andere paginabestanden
- Geen inhoud uit geblokkeerde of niet-openbare gedeelten
Analyseaanvragen (seofuxx-analyzer)
De analyzer controleert pagina’s, robots.txt en sitemaps namens een SEOFuxx-accounthouder. Dit omvat audits, sitemapcontroles en sitemapcrawls. Hij bouwt geen linkindex op.
Volledige user agent
Mozilla/5.0 (compatible; seofuxx-analyzer/1.0; +https://www.seofuxx.com/seofuxx-crawler)
Pagina-aanvragen en momenteel ook sitemapcrawls gebruiken een browseridentificatie omdat sommige hosts bots blokkeren. De bovenstaande identificatie geldt voor andere analyseaanvragen.
robots.txt-groep voor de botidentificatie
Voor aanvragen met de botidentificatie geldt de groep seofuxx-analyzer of seofuxx, anders *. Met deze regels sluit je die aanvragen uit. Analyseaanvragen controleren robots.txt niet altijd zelf; pagina- en sitemapsaanvragen met een browseridentificatie vallen buiten deze groep.
User-agent: seofuxx-analyzer
Disallow: /Gedrag bij sitemapcrawls
Een sitemapcrawl haalt maximaal drie URL’s tegelijk op en wacht 100 ms na elke groep. Bij HTTP 429 of 503 volgt hij Retry-After en probeert hij getroffen URL’s één keer opnieuw. Deze waarden gelden niet voor de backlinkcrawler.
Backlinkcrawler (seofuxx-crawler)
Toegang regelen met robots.txt
Je kunt afzonderlijke paden of je hele website blokkeren voor de SEOFuxx Crawler. Voeg de getoonde regels toe aan robots.txt voor een volledige blokkade.
Wijzigingen in robots.txt worden bij het volgende bezoek gevolgd. Vervang / door het gewenste pad om alleen een deel te blokkeren.
Volledig blokkeren
User-agent: seofuxx-crawler
Disallow: /Vragen of een probleem met een van onze bots?
Stuur ons het betreffende domein en een korte beschrijving. We bekijken de activiteit en helpen je direct verder.
Heb je iets aan deze inhoud?