Il Crawler SEOFuxx
Il nostro crawler raccoglie link accessibili pubblicamente per costruire un indice di backlink indipendente del web tedesco. Scopri come funziona, quali dati salva e come puoi controllarne l'accesso.
Nome identificabile del bot
seofuxx-crawler
User agent completo
Mozilla/5.0 (compatible; seofuxx-crawler/1.2; +https://www.seofuxx.com/seofuxx-crawler)
Ambito di scansione attuale
Intervallo minimo per host
Limite di pagine per host ed esecuzione
Contenuto delle pagine salvato in modo permanente
Cosa fa il crawler
SEOFuxx raccoglie da sé i dati per il proprio indice di backlink. Il crawler visita i siti web, estrae i link e li trasforma in un grafo dei link consultabile.
Richiamare pagine pubbliche
Il crawler visita pagine HTML accessibili pubblicamente entro l'ambito di scansione approvato. La prima fase si concentra sui siti .de.
Estrarre i link
Vengono estratti link interni ed esterni, attributi dei link e anchor text. Nuovi URL interni possono essere aggiunti alla coda di scansione.
Costruire un grafo dei link
I collegamenti individuati entrano a far parte del nostro indice di backlink e rendono visibili le pagine di riferimento e i cambiamenti nel tempo.
Rispettoso e controllabile
Il crawler è progettato per ridurre al minimo il carico sui singoli siti web e lasciare il controllo ai gestori dei siti.
Il robots.txt viene rispettato
Le regole per seofuxx-crawler e quelle generali vengono valutate secondo la RFC 9309. I percorsi bloccati non vengono visitati.
Intervallo tra le richieste
Le richieste allo stesso host sono sequenziali e distanziate di almeno due secondi. Un Crawl-delay più lungo ha la precedenza.
Limiti tecnici fissi
Numero di pagine, dimensione della risposta e durata della richiesta sono limitati. Un rate limit globale limita inoltre il carico complessivo.
Gestione prudente degli errori
Se il robots.txt non può essere richiamato in modo affidabile a causa di un errore del server, il crawler per precauzione considera l'host bloccato.
Cosa salviamo
Salviamo solo i dati necessari per il grafo dei link e per la gestione tecnica della scansione.
- URL di origine e di destinazione dei link individuati
- Anchor text e attributi dei link come rel
- Metadati tecnici come stato e momento del richiamo
Cosa non salviamo in modo permanente
Il contenuto delle pagine viene elaborato solo in memoria per estrarre link e metadati tecnici.
- Nessuna copia permanente del contenuto HTML
- Nessuna immagine, video o altra risorsa delle pagine
- Nessun contenuto di aree bloccate o non pubbliche
Controlla l'accesso con il robots.txt
Puoi bloccare per il Crawler SEOFuxx singoli percorsi o l'intero sito web. Per un blocco completo aggiungi le righe mostrate al tuo robots.txt.
Le modifiche al robots.txt vengono rispettate alla visita successiva. Per bloccare un'area specifica, sostituisci / con il percorso corrispondente.
Blocco completo
User-agent: seofuxx-crawler
Disallow: /Domande o un problema con il nostro crawler?
Inviaci il dominio interessato e una breve descrizione. Verificheremo l'attività e ti aiuteremo direttamente.
Questo contenuto ti è stato utile?