O Crawler do SEOFuxx lê seu sitemap.xml e verifica cada URL nele: ela está acessível, redireciona ou retorna um erro?
O que o Crawler analisa
Ele usa a Sitemap como ponto de partida e acessa todas as URLs que estão nela. Para cada URL, ele registra:
- o status HTTP (OK, redirecionamento, 4xx, 5xx ou inacessível)
- se a URL ainda estava na Sitemap no último crawl
- quando foi a última vez que ela foi carregada com sucesso
O Crawler não avalia metadados, títulos, imagens nem tempos de carregamento. Mas ele armazena o conteúdo de cada URL encontrada para que outras análises possam acessá-lo, como o coach de otimização por IA em SERPs. Para a verificação de uma página, existe o Page Audit, que sempre analisa uma única página.
Iniciar o crawl
- Abra Crawler na navegação
- Insira a URL da Sitemap, por exemplo,
https://deine-website.de/sitemap.xml. Ela deve terminar comsitemap.xml. Com o domínio do projeto cadastrado, o campo já vem preenchido. - Clique em Iniciar Crawler
Se você ainda não tem uma Sitemap, gere-a com a Ferramenta de Sitemap.
Crawl automático
Na sua conta, você pode ativar o Auto Crawl para o projeto (veja Conta: Domínio e senha). Assim, o crawl roda sem sua intervenção. Na visão geral, cada execução indica se foi Automática, Manual ou via API.
Avaliar resultados
O Relatório da Sitemap mostra no topo como está a Sitemap: "Sua Sitemap está limpa", "n URL(s) no seu sitemap.xml precisam de atenção" ou "Seu sitemap.xml não pôde ser carregado".
Indicadores
| Indicador | Significado |
|---|---|
| URLs na Sitemap | Todas as URLs que estão na Sitemap |
| Acessíveis | URLs que respondem normalmente |
| Redirecionamentos | URLs que redirecionam para outro endereço |
| Erros 4xx | URLs que não existem ou que você não pode acessar |
| Erros 5xx | URLs nas quais seu servidor relata um erro |
| Entradas desatualizadas | URLs que antes estavam na Sitemap e desapareceram desde então |
URLs com problemas
A tabela URLs com problemas informa, para cada URL destacada, o estado, o status HTTP, o problema e o momento em que ela pôde ser carregada pela última vez.
Histórico de crawls
O Histórico de crawls lista as execuções anteriores com data, domínio, acionador, status da Sitemap, erros e duração. Assim você vê se está melhorando.
Corrigir problemas comuns
A Sitemap não pôde ser carregada
Enquanto a Sitemap não estiver acessível, nem o SEOFuxx nem o Google poderão encontrar suas páginas por ela. Verifique se o arquivo existe, se está no endereço informado e se não está bloqueado pelo robots.txt ou por uma proteção por senha.
Erros 4xx e links quebrados
Entradas mortas na Sitemap consomem orçamento de crawl e prejudicam seu ranking. Remova-as da sitemap.xml ou corrija as páginas, de preferência com um redirecionamento 301 para uma página apropriada.
Redirecionamentos
Se houver na Sitemap uma URL que redireciona, é melhor já informar o destino diretamente. Assim nenhum crawler precisa fazer um desvio.
Erros 5xx
Seu servidor não suportou a solicitação. Verifique os logs do servidor e veja se a página também apresenta erros de forma consistente no navegador.