Crawler SEOFuxx
Nasz crawler zbiera publicznie dostępne linki, aby zbudować niezależny indeks backlinków niemieckiego internetu. Dowiedz się, jak działa, jakie dane zapisuje i jak możesz kontrolować jego dostęp.
Rozpoznawalna nazwa bota
seofuxx-crawler
Pełny user agent
Mozilla/5.0 (compatible; seofuxx-crawler/1.2; +https://www.seofuxx.com/seofuxx-crawler)
Obecny zakres crawlowania
Minimalny odstęp na host
Limit stron na host i przebieg
Trwale zapisywana treść stron
Co robi crawler
SEOFuxx samodzielnie zbiera dane do swojego indeksu backlinków. Crawler odwiedza strony, wyodrębnia linki i zamienia je w przeszukiwalny graf linków.
Pobieranie stron publicznych
Crawler odwiedza publicznie dostępne strony HTML w ramach dozwolonego zakresu. Pierwszy etap koncentruje się na stronach .de.
Wyodrębnianie linków
Wyodrębniane są linki wewnętrzne i zewnętrzne, atrybuty linków i anchor text. Nowe wewnętrzne adresy URL mogą trafić do kolejki crawlowania.
Budowa grafu linków
Znalezione połączenia stają się częścią naszego własnego indeksu backlinków i pokazują strony linkujące oraz zmiany w czasie.
Z poszanowaniem i pod kontrolą
Crawler jest zaprojektowany tak, aby jak najmniej obciążać pojedyncze strony i pozostawiać kontrolę ich właścicielom.
robots.txt jest respektowany
Reguły dla seofuxx-crawler i reguły ogólne są oceniane zgodnie z RFC 9309. Zablokowane ścieżki nie są odwiedzane.
Odstęp między zapytaniami
Zapytania do tego samego hosta są wysyłane kolejno, w odstępie co najmniej dwóch sekund. Dłuższy Crawl-delay ma pierwszeństwo.
Stałe limity techniczne
Liczba stron, rozmiar odpowiedzi i czas trwania zapytania są ograniczone. Globalny limit zapytań dodatkowo ogranicza całkowite obciążenie.
Ostrożna obsługa błędów
Jeśli robots.txt nie da się pewnie pobrać z powodu błędu serwera, crawler z ostrożności traktuje host jako zablokowany.
Co zapisujemy
Zapisujemy tylko dane potrzebne do grafu linków i technicznego zarządzania crawlowaniem.
- Adresy URL źródłowe i docelowe znalezionych linków
- Anchor text i atrybuty linków, takie jak rel
- Techniczne metadane, takie jak status i czas pobrania
Czego nie zapisujemy trwale
Treść stron jest przetwarzana tylko w pamięci, aby wyodrębnić linki i techniczne metadane.
- Brak trwałej kopii treści HTML
- Brak obrazów, filmów i innych zasobów stron
- Brak treści z zablokowanych lub niepublicznych obszarów
Kontroluj dostęp przez robots.txt
Możesz zablokować dla Crawlera SEOFuxx pojedyncze ścieżki lub całą stronę. Aby zablokować wszystko, dodaj pokazane linie do swojego pliku robots.txt.
Zmiany w robots.txt są uwzględniane przy następnej wizycie. Aby zablokować konkretny obszar, zastąp / odpowiednią ścieżką.
Pełna blokada
User-agent: seofuxx-crawler
Disallow: /Pytania lub problem z naszym crawlerem?
Wyślij nam dotkniętą domenę i krótki opis. Sprawdzimy aktywność i pomożemy Ci bezpośrednio.
Czy ta treść jest pomocna?