Le SEOFuxx Crawler
Notre crawler collecte des liens accessibles au public pour créer un index de backlinks indépendant du Web allemand. Découvrez son fonctionnement, les données qu'il stocke et comment contrôler son accès.
Nom du bot identifiable
seofuxx-crawler
Agent utilisateur complet
Mozilla/5.0 (compatible; seofuxx-crawler/1.2; +https://www.seofuxx.com/seofuxx-crawler)
Portée actuelle de l'analyse
Intervalle minimum par hôte
Limite de pages par hôte et exécution
Contenu de la page stocké en permanence
Qu'est-ce que le crawler fait
SEOFuxx collecte lui-même les données pour son index de backlink. Le crawler visite des sites Web, extrait des liens et les transforme en un graphique de liens consultable.
Récupérer les pages publiques
Le crawler visite les pages HTML accessibles au public dans le cadre de l'analyse approuvée. La première étape se concentre sur les sites Web .de.
Extraire les liens
Les liens internes et externes, les attributs de lien et le texte d'ancrage sont extraits. De nouvelles URL internes peuvent être ajoutées à la file d'attente d'analyse.
Construire un graphique de liens
Les connexions découvertes font partie de notre propre index de backlinks, rendant visibles les pages de référence et les modifications au fil du temps.
Prévenant et contrôlable
Le crawler est conçu pour minimiser la charge sur les sites Web individuels et garder le contrôle des propriétaires de sites.
robots.txt est respecté
Les règles pour seofuxx-crawler et les règles générales sont évaluées selon la RFC 9309. Les chemins bloqués ne sont pas visités.
Intervalle entre les demandes
Les requêtes adressées au même hôte sont séquentielles et espacées d'au moins deux secondes. Un délai d'exploration plus long est prioritaire.
Limites techniques fixes
Le nombre de pages, la taille de la réponse et la durée de la demande sont limités. Une limite de débit globale plafonne également la charge globale.
Gestion prudente des erreurs
Si robots.txt ne peut pas être récupéré de manière fiable en raison d'une erreur de serveur, crawler traite l'hôte comme bloqué par mesure de précaution.
Ce que nous stockons
Nous stockons uniquement les données nécessaires au graphique des liens et à la gestion technique du crawl.
- URL source et cible des liens découverts
- Ancrer le texte et les attributs de lien tels que rel
- Métadonnées techniques telles que le statut et l'heure de récupération
Ce que nous ne stockons pas en permanence
Le contenu de la page est traité en mémoire uniquement pour extraire les liens et les métadonnées techniques.
- Aucune copie permanente du contenu HTML
- Aucune image, vidéo ou autre élément de page
- Aucun contenu provenant de zones bloquées ou non publiques
Contrôler l'accès avec robots.txt
Vous pouvez bloquer des chemins individuels ou l'intégralité de votre site Web pour le SEOFuxx Crawler. Ajoutez les lignes affichées à votre robots.txt pour un bloc complet.
Les modifications robots.txt sont honorées lors de la prochaine visite. Pour bloquer une zone spécifique, remplacez / par le chemin correspondant.
Bloc complet
User-agent: seofuxx-crawler
Disallow: /Des questions ou un problème avec notre crawler ?
Envoyez-nous le domaine concerné et une brève description. Nous examinerons l’activité et vous aiderons directement.
Ce contenu est-il utile ?