# robots.txt ve Site Haritası Denetimi

> robots.txt kurallarınızı ve site haritanızı çekip tutarlılığını denetler.

Ücretsiz çevrimiçi araç: https://flatinium.com/araclar/robots-sitemap-denetimi

robots.txt tek satırla bütün sitenizi aramadan çıkarabilen bir dosya. Yanlış yazılmış bir `Disallow: /` satırı, aylarca fark edilmeden trafiği sıfırlayabiliyor.

Bu araç dosyanızı çekiyor, kuralları ajan ajan çözümlüyor, site haritası bildirimlerinizi takip ediyor ve site haritasının gerçekten açılıp açılmadığını kontrol ediyor.

Sık gördüğümüz durum, geliştirme ortamındaki engelleme satırının canlıya taşınması. Site yayına alınıyor, kimse robots.txt açıp bakmıyor.

## Neyi ölçer

- robots.txt var mı, doğru içerik türüyle mi sunuluyor
- Bütün siteyi engelleyen bir kural var mı
- Hangi ajan için hangi kurallar tanımlı
- Site haritası bildirilmiş mi, bildirilen adres açılıyor mu
- Site haritasında kaç adres var, biçim geçerli mi
- Site haritası dizinleri takip ediliyor
- Bilinmeyen ya da hatalı yazılmış direktifler

## Sınırları

- robots.txt taramayı engeller, indekslemeyi değil. Bir adres başka sitelerden bağlantı alıyorsa taranmadan da arama sonuçlarında görünebilir. İndekslemeyi engellemek istiyorsanız noindex kullanmanız gerekiyor.
- Site haritasındaki adreslerin gerçekten açılıp açılmadığını tek tek denemiyoruz; bu, sitenize yüzlerce istek atmak olurdu.

## Sık sorulan sorular

### robots.txt olmak zorunda mı?

Zorunlu değil. Dosya yoksa tarayıcılar her yeri tarayabilir varsayıyor ve çoğu küçük site için bu sorun değil. Yine de olması iyi: site haritanızı bildirmenin en doğrudan yolu bu dosya.

### Disallow yazdım ama sayfa hâlâ Google’da görünüyor.

Beklenen davranış. Disallow taramayı durduruyor, dizine almayı değil. Google sayfayı okuyamadığı için açıklama yerine "bu sayfa için bilgi yok" yazıyor ama adres listede kalabiliyor. Sayfayı çıkarmak istiyorsanız taramaya izin verip sayfaya noindex koymanız gerekiyor.

### Site haritamı hem robots.txt hem Search Console’a mı bildirmeliyim?

İkisini de yapın. robots.txt bildirimi bütün tarayıcılar için geçerli, Search Console bildirimi ise size işlenme durumunu raporluyor. Biri diğerinin yerine geçmiyor.

### Site haritasında kaç adres olabilir?

Tek dosyada elli bin adres ve sıkıştırılmamış hâlde elli megabayt sınırı var. Daha fazlası için site haritası dizini kullanılıyor — yani site haritalarını listeleyen bir site haritası.

### Yapay zekâ botlarını robots.txt ile engelleyebilir miyim?

Kurallara uyanları engelleyebilirsiniz. GPTBot, ClaudeBot ve PerplexityBot gibi ajanlar dosyayı okuyup uyduğunu belgeliyor. Ama bu bir kilit değil nezaket kuralı; uymamayı seçen bir tarayıcıyı durdurmuyor.