Crawler'ı Kurma ve Kullanma

SEOFuxx Crawler, sitemap.xml dosyanı okur ve içindeki her URL'yi kontrol eder: erişilebilir mi, yönlendiriyor mu yoksa hata mı veriyor?

Crawler neye bakar?

Başlangıç noktası olarak sitemap'i kullanır ve orada listelenen her URL'yi ister. Kaydettiği her URL için şunları tutar:

HTTP durumu (Tamam, yönlendirme, 4xx, 5xx ya da erişilemiyor)
URL'nin son taramada hâlâ sitemap'te olup olmadığı
en son ne zaman başarıyla yüklendiği

Crawler meta verileri, başlıkları, görselleri ya da yüklenme sürelerini değerlendirmez. Bulduğu her URL'nin içeriğini ise saklar; böylece başka değerlendirmeler bunları kullanabilir, örneğin SERP'ler altındaki yapay zekâ optimizasyon koçu. Bir sayfayı kontrol etmek için her zaman tek bir sayfayı inceleyen Page Audit var.

Taramayı başlat

Gezinmede Crawler sayfasını aç
Sitemap URL'si alanına örneğin https://your-website.com/sitemap.xml gir. sitemap.xml ile bitmesi gerekir. Projen için bir alan adı kaydettiysen alan önceden doldurulur.
Crawler'ı başlat düğmesine tıkla

Henüz bir sitemap'in yoksa Sitemap aracı ile bir tane oluştur.

Sitemap URL'si ve Crawler'ı başlat düğmesinin bulunduğu crawler formu

Otomatik tarama

Hesabında projen için Otomatik taramayı açabilirsin (bkz. Hesap: Alan Adı ve Şifre). Tarama bundan sonra sen bir şey yapmadan çalışır. Genel bakış, her çalıştırmanın Otomatik, Manuel ya da API ile mi tetiklendiğini gösterir.

Sonuçları değerlendirme

Sitemap raporu en üstte sitemap'inin durumunu gösterir: "Sitemap'in temiz", "sitemap.xml dosyandaki n URL dikkat gerektiriyor" ya da "sitemap.xml dosyan yüklenemedi".

Erişilebilir URL'ler, yönlendirmeler ve hatalara ait değerlerin yer aldığı sitemap raporu

Temel değerler

Değer	Anlamı
Sitemap'teki URL'ler	Sitemap'te listelenen tüm URL'ler
Erişilebilir	Normal yanıt veren URL'ler
Yönlendirmeler	Başka bir adrese yönlendiren URL'ler
4xx hataları	Var olmayan ya da istemene izin verilmeyen URL'ler
5xx hataları	Sunucunun hata bildirdiği URL'ler
Eskimiş girdiler	Eskiden sitemap'te olup sonradan kaybolan URL'ler

Sorunlu URL'ler

Sorunlu URL'ler tablosu, dikkat çeken her URL için durumunu, HTTP durumunu, sorunu ve en son ne zaman yüklenebildiğini listeler.

Tarama geçmişi

Tarama geçmişi, önceki çalıştırmaları tarih, alan adı, tetikleyici, sitemap durumu, hatalar ve süreyle listeler. Böylece işlerin iyiye gidip gitmediğini görebilirsin.

İpucu: Crawler'ı arada bir, örneğin ayda bir çalıştır ya da Otomatik taramayı aç. Böylece bir şey kötüleştiğinde bunu sıralamada görünmeden önce fark edersin.

Sık görülen sorunları giderme

Sitemap yüklenemedi

Sitemap'e ulaşılamadığı sürece ne SEOFuxx ne de Google sayfalarını onun üzerinden bulabilir. Dosyanın var olduğunu, girdiğin adreste durduğunu ve robots.txt ya da parola korumasıyla engellenmediğini kontrol et.

4xx hataları ve kırık bağlantılar

Sitemap'teki ölü girdiler tarama bütçesini boşa harcar ve sıralamana zarar verir. Bunları sitemap.xml dosyasından kaldır ya da sayfaları düzelt; en iyisi uygun bir sayfaya 301 yönlendirmesi yapmaktır.

Yönlendirmeler

Sitemap'te yönlendiren bir URL varsa onun yerine hedefi gir. Böylece hiçbir crawler dolambaçlı yola girmek zorunda kalmaz.

5xx hataları

Sunucun isteği işleyemedi. Sunucu günlüklerine bak ve sayfanın tarayıcıda da sürekli hata verip vermediğini kontrol et.

Uyarı: Binlerce URL'si olan büyük web sitelerinde tarama daha uzun sürebilir. En iyisi geceleri ya da yoğun olmayan saatlerde başlatmak.

Bu içerik faydalı mı?