robots.txt ve site haritası denetimi
robots.txt tek satırla bütün sitenizi aramadan çıkarabilen bir dosya. Yanlış yazılmış bir `Disallow: /` satırı, aylarca fark edilmeden trafiği sıfırlayabiliyor.
Bu araç dosyanızı çekiyor, kuralları ajan ajan çözümlüyor, site haritası bildirimlerinizi takip ediyor ve site haritasının gerçekten açılıp açılmadığını kontrol ediyor.
Sık gördüğümüz durum, geliştirme ortamındaki engelleme satırının canlıya taşınması. Site yayına alınıyor, kimse robots.txt açıp bakmıyor.
Kapsam
Bu araç neyi ölçüyor
- robots.txt var mı, doğru içerik türüyle mi sunuluyor
- Bütün siteyi engelleyen bir kural var mı
- Hangi ajan için hangi kurallar tanımlı
- Site haritası bildirilmiş mi, bildirilen adres açılıyor mu
- Site haritasında kaç adres var, biçim geçerli mi
- Site haritası dizinleri takip ediliyor
- Bilinmeyen ya da hatalı yazılmış direktifler
Dürüstlük
Bu araç neyi ölçmüyor
Bir aracın yapamadığını söylememesi, yaptığını da şüpheli hâle getiriyor.
- robots.txt taramayı engeller, indekslemeyi değil. Bir adres başka sitelerden bağlantı alıyorsa taranmadan da arama sonuçlarında görünebilir. İndekslemeyi engellemek istiyorsanız noindex kullanmanız gerekiyor.
- Site haritasındaki adreslerin gerçekten açılıp açılmadığını tek tek denemiyoruz; bu, sitenize yüzlerce istek atmak olurdu.
SSS
Sık sorulan sorular
robots.txt olmak zorunda mı?
Zorunlu değil. Dosya yoksa tarayıcılar her yeri tarayabilir varsayıyor ve çoğu küçük site için bu sorun değil. Yine de olması iyi: site haritanızı bildirmenin en doğrudan yolu bu dosya.
Disallow yazdım ama sayfa hâlâ Google’da görünüyor.
Beklenen davranış. Disallow taramayı durduruyor, dizine almayı değil. Google sayfayı okuyamadığı için açıklama yerine "bu sayfa için bilgi yok" yazıyor ama adres listede kalabiliyor. Sayfayı çıkarmak istiyorsanız taramaya izin verip sayfaya noindex koymanız gerekiyor.
Site haritamı hem robots.txt hem Search Console’a mı bildirmeliyim?
İkisini de yapın. robots.txt bildirimi bütün tarayıcılar için geçerli, Search Console bildirimi ise size işlenme durumunu raporluyor. Biri diğerinin yerine geçmiyor.
Site haritasında kaç adres olabilir?
Tek dosyada elli bin adres ve sıkıştırılmamış hâlde elli megabayt sınırı var. Daha fazlası için site haritası dizini kullanılıyor — yani site haritalarını listeleyen bir site haritası.
Yapay zekâ botlarını robots.txt ile engelleyebilir miyim?
Kurallara uyanları engelleyebilirsiniz. GPTBot, ClaudeBot ve PerplexityBot gibi ajanlar dosyayı okuyup uyduğunu belgeliyor. Ama bu bir kilit değil nezaket kuralı; uymamayı seçen bir tarayıcıyı durdurmuyor.
Diğer araçlar
- Meta Etiket AnaliziBaşlık, açıklama, canonical ve paylaşım etiketlerini denetler, arama sonucunu önizler.
- Başlık Yapısı AnaliziSayfanızın başlık hiyerarşisini çıkarır, atlanan seviyeleri ve kelime yoğunluğunu gösterir.
- Yapısal Veri TestiSayfanızdaki JSON-LD bloklarını çözümler, eksik ve hatalı alanları gösterir.
Hepsini araçlar sayfasında bulabilirsiniz.
İlgili sayfalar
Kaynaklar
Bu aracın dayandığı belgeler. Hepsi konuyu üreten kurumun kendi sayfası.
Sonucu birlikte okuyalım
Araç size ne olduğunu gösteriyor, sıralama ise neyi önce yapacağınıza bağlı. Sitenize bakıp en kritik üç başlığı çıkaralım — iki-üç iş günü sürüyor, ücretsiz ve çalışmasak bile rapor sizde kalıyor.