Bots de SEOFuxx
SEOFuxx usa dos bots: el crawler de backlinks recoge enlaces públicos para un índice de enlaces. El analizador consulta páginas y sitemaps por encargo de titulares de cuentas. Descubre cómo reconocer y controlar ambos.
Nombre identificable del bot
seofuxx-crawler
User agent completo
Mozilla/5.0 (compatible; seofuxx-crawler/1.2; +https://www.seofuxx.com/seofuxx-crawler)
Crawler de backlinks (seofuxx-crawler)
Ámbito actual del rastreo
Intervalo mínimo por host
Límite de páginas por host y pasada
Contenido de página guardado permanentemente
Crawler de backlinks (seofuxx-crawler)
Qué hace el crawler
SEOFuxx recopila por sí mismo los datos de su índice de backlinks. El crawler visita sitios web, extrae enlaces y crea con ellos un grafo de enlaces consultable.
Visitar páginas públicas
El crawler visita páginas HTML de acceso público dentro del ámbito autorizado. La primera fase se centra en sitios web .de.
Extraer enlaces
Se extraen enlaces internos y externos, atributos de enlace y textos ancla. Las nuevas URLs internas pueden añadirse a la cola de rastreo.
Crear un grafo de enlaces
Las conexiones encontradas pasan a nuestro propio índice de backlinks, que permite detectar páginas de referencia y cambios a lo largo del tiempo.
Crawler de backlinks (seofuxx-crawler)
Cuidadoso y controlable
El crawler está diseñado para reducir la carga de cada sitio y mantener el control en manos de sus administradores.
Respeta robots.txt
Las reglas para seofuxx-crawler y las reglas generales se evalúan conforme a RFC 9309. Las rutas bloqueadas no se visitan.
Intervalo entre solicitudes
Las solicitudes al mismo host son secuenciales y tienen al menos dos segundos de separación. Un Crawl-delay mayor tiene prioridad.
Límites técnicos fijos
El número de páginas, el tamaño de respuesta y el tiempo de espera están limitados. Un límite global también controla la carga total.
Precaución ante errores
Si robots.txt no puede obtenerse de forma fiable por un error del servidor, el crawler trata el host como bloqueado por precaución.
Crawler de backlinks (seofuxx-crawler)
Qué guardamos
Solo guardamos los datos necesarios para el grafo de enlaces y la gestión técnica del rastreo.
- URLs de origen y destino de los enlaces encontrados
- Textos ancla y atributos de enlace como rel
- Metadatos técnicos como estado y momento de la consulta
Qué no guardamos permanentemente
El contenido se procesa solo en memoria para extraer enlaces y metadatos técnicos.
- Ninguna copia permanente del contenido HTML
- Ninguna imagen, vídeo u otro archivo de la página
- Ningún contenido de áreas bloqueadas o no públicas
Consultas de análisis (seofuxx-analyzer)
El analizador comprueba páginas, robots.txt y sitemaps por encargo de una persona con cuenta en SEOFuxx. Realiza auditorías, comprobaciones y rastreos de sitemaps. No crea un índice de enlaces.
User agent completo
Mozilla/5.0 (compatible; seofuxx-analyzer/1.0; +https://www.seofuxx.com/seofuxx-crawler)
Las consultas de páginas y, por ahora, los rastreos de sitemaps usan una identificación de navegador porque algunos servidores bloquean bots. La identificación de arriba se usa en otras consultas de análisis.
Grupo robots.txt para la identificación del bot
Para las consultas con identificación de bot se aplica el grupo seofuxx-analyzer o seofuxx; si no existe, *. Estas líneas muestran cómo excluir esas consultas. Las consultas de análisis no siempre comprueban robots.txt; las de páginas y sitemaps con identificación de navegador quedan fuera de este grupo.
User-agent: seofuxx-analyzer
Disallow: /Comportamiento del rastreo de sitemaps
El rastreo de sitemaps consulta hasta tres URL a la vez y espera 100 ms tras cada bloque. Ante HTTP 429 o 503 respeta Retry-After y repite una vez las URL afectadas. Estos valores no se aplican al crawler de backlinks.
Crawler de backlinks (seofuxx-crawler)
Controlar el acceso con robots.txt
Puedes bloquear rutas concretas o todo tu sitio para SEOFuxx Crawler. Añade las líneas mostradas a tu robots.txt para bloquearlo por completo.
Los cambios en robots.txt se aplican en la siguiente visita. Para bloquear un área concreta, sustituye / por la ruta correspondiente.
Bloqueo completo
User-agent: seofuxx-crawler
Disallow: /¿Tienes dudas o un problema con uno de nuestros bots?
Envíanos el dominio afectado y una breve descripción. Revisaremos la actividad y te ayudaremos directamente.
¿Te resulta útil este contenido?