O SEOFuxx Crawler
Nosso crawler coleta links publicamente acessíveis para construir um índice independente de backlinks da web alemã. Saiba como ele funciona, quais dados armazena e como você pode controlar seu acesso.
Nome de bot identificável
seofuxx-crawler
User agent completo
Mozilla/5.0 (compatible; seofuxx-crawler/1.2; +https://www.seofuxx.com/seofuxx-crawler)
Escopo de rastreamento atual
Intervalo mínimo por host
Limite de páginas por host e execução
Conteúdo de página armazenado permanentemente
O que o crawler faz
A SEOFuxx coleta os dados para seu índice de backlinks por conta própria. O crawler visita sites, extrai links e os transforma em um grafo de links pesquisável.
Buscar páginas públicas
O crawler visita páginas HTML publicamente acessíveis dentro do escopo de rastreamento aprovado. A primeira etapa foca em sites .de.
Extrair links
Links internos e externos, atributos de link e texto âncora são extraídos. Novas URLs internas podem ser adicionadas à fila de rastreamento.
Construir um grafo de links
As conexões descobertas se tornam parte do nosso próprio índice de backlinks, tornando visíveis as páginas de referência e mudanças ao longo do tempo.
Cuidadoso e controlável
O crawler foi projetado para minimizar a carga em sites individuais e manter os proprietários no controle.
robots.txt é respeitado
Regras para seofuxx-crawler e regras gerais são avaliadas de acordo com a RFC 9309. Caminhos bloqueados não são visitados.
Intervalo entre solicitações
Solicitações para o mesmo host são sequenciais e com pelo menos dois segundos de intervalo. Um Crawl-delay maior tem precedência.
Limites técnicos fixos
Contagem de páginas, tamanho da resposta e duração da solicitação são limitados. Um rate limit global também limita a carga geral.
Tratamento de erros cauteloso
Se o robots.txt não puder ser obtido de forma confiável devido a um erro do servidor, o crawler trata o host como bloqueado por precaução.
O que armazenamos
Armazenamos apenas os dados necessários para o grafo de links e a gestão técnica do rastreamento.
- URLs de origem e destino dos links descobertos
- Texto âncora e atributos de link como rel
- Metadados técnicos como status e horário de obtenção
O que não armazenamos permanentemente
O conteúdo da página é processado apenas em memória para extrair links e metadados técnicos.
- Nenhuma cópia permanente do conteúdo HTML
- Nenhuma imagem, vídeo ou outros recursos da página
- Nenhum conteúdo de áreas bloqueadas ou não públicas
Controle o acesso com robots.txt
Você pode bloquear caminhos individuais ou seu site inteiro para o SEOFuxx Crawler. Adicione as linhas mostradas ao seu robots.txt para um bloqueio completo.
As mudanças no robots.txt são respeitadas na próxima visita. Para bloquear uma área específica, substitua / pelo caminho relevante.
Bloqueio completo
User-agent: seofuxx-crawler
Disallow: /Dúvidas ou algum problema com nosso crawler?
Envie para a gente o domínio afetado e uma breve descrição. Vamos analisar a atividade e ajudar você diretamente.
Este conteúdo foi útil?