Resmi SEOFuxx Crawler
Crawler'ımız, Alman web'i için bağımsız bir backlink indeksi oluşturmak üzere herkese açık bağlantıları toplar. Nasıl çalıştığını, hangi verileri sakladığını ve erişimini nasıl kontrol edebileceğini öğren.
Tanımlanabilir bot adı
seofuxx-crawler
Tam user agent
Mozilla/5.0 (compatible; seofuxx-crawler/1.2; +https://www.seofuxx.com/seofuxx-crawler)
Güncel tarama kapsamı
Host başına asgari aralık
Host ve çalışma başına sayfa sınırı
Kalıcı olarak saklanan sayfa içeriği
Crawler ne yapar
SEOFuxx, backlink indeksinin verilerini kendisi toplar. Crawler web sitelerini ziyaret eder, bağlantıları çıkarır ve bunları aranabilir bir bağlantı grafiğine dönüştürür.
Herkese açık sayfaları çağırır
Crawler, onaylı tarama kapsamında herkese açık HTML sayfalarını ziyaret eder. İlk aşama .de web sitelerine odaklanır.
Bağlantıları çıkarır
Dahili ve harici bağlantılar, bağlantı öznitelikleri ve bağlantı metinleri çıkarılır. Yeni dahili URL'ler tarama kuyruğuna eklenebilir.
Bağlantı grafiği oluşturur
Bulunan bağlantılar kendi backlink indeksimizin parçası olur; bu da bağlantı veren sayfaları ve zaman içindeki değişiklikleri görünür kılar.
Özenli ve kontrol edilebilir
Crawler, tek tek web sitelerindeki yükü en aza indirecek ve site sahiplerini kontrolde tutacak şekilde tasarlandı.
robots.txt'e uyulur
seofuxx-crawler için kurallar ve genel kurallar RFC 9309'a göre değerlendirilir. Engellenen yollar ziyaret edilmez.
İstekler arasında aralık
Aynı host'a yapılan istekler sıralıdır ve aralarında en az iki saniye vardır. Daha uzun bir Crawl-delay önceliklidir.
Sabit teknik sınırlar
Sayfa sayısı, yanıt boyutu ve istek süresi sınırlıdır. Ayrıca genel bir hız sınırı toplam yükü de sınırlar.
Temkinli hata yönetimi
robots.txt bir sunucu hatası nedeniyle güvenilir şekilde alınamazsa crawler, önlem olarak host'u engelli sayar.
Neleri saklıyoruz
Yalnızca bağlantı grafiği ve teknik tarama yönetimi için gereken verileri saklıyoruz.
- Bulunan bağlantıların kaynak ve hedef URL'leri
- Bağlantı metni ve rel gibi bağlantı öznitelikleri
- Durum ve çağrı zamanı gibi teknik meta veriler
Neleri kalıcı olarak saklamıyoruz
Sayfa içeriği yalnızca bağlantıları ve teknik meta verileri çıkarmak için bellekte işlenir.
- HTML içeriğinin kalıcı kopyası yok
- Görsel, video veya diğer sayfa varlıkları yok
- Engellenen veya herkese açık olmayan alanlardan içerik yok
Erişimi robots.txt ile kontrol et
SEOFuxx Crawler için tek tek yolları ya da web sitenin tamamını engelleyebilirsin. Tam engelleme için gösterilen satırları robots.txt dosyana ekle.
robots.txt değişiklikleri bir sonraki ziyarette dikkate alınır. Belirli bir alanı engellemek için / yerine ilgili yolu yaz.
Tam engelleme
User-agent: seofuxx-crawler
Disallow: /Sorun mu var ya da crawler'ımızla ilgili sorun mu yaşıyorsun?
Bize ilgili alan adını ve kısa bir açıklamayı gönder. Etkinliği inceler ve sana doğrudan yardımcı oluruz.
Bu içerik faydalı mı?