# robots.txt nedir?

> robots.txt, sitenin kök dizininde duran ve tarayıcılara hangi adresleri tarayıp hangilerini taramayacaklarını söyleyen düz metin dosyasıdır. Taramayı kontrol eder, dizine eklemeyi değil; bir sayfayı Google'dan gizlemek için kullanılmaz.

Kaynak: https://flatinium.com/sozluk/robots-txt · Flatinium SEO ve GEO Sözlüğü

Diğer adları: robots dosyası, robots exclusion protocol

Dosya alanadiniz.com/robots.txt adresinde bulunur ve User-agent, Disallow, Allow ile Sitemap satırlarından oluşur. Her kural belirli bir tarayıcıya (örneğin Googlebot, Bingbot, GPTBot) veya * ile tümüne yazılabilir. Kurallar 2022'de RFC 9309 olarak standartlaştı.

En sık yanılgı robots.txt'nin bir sayfayı dizinden çıkardığını düşünmektir. Engellenmiş bir sayfa, başka sitelerden bağlantı alıyorsa içeriği okunmadan yalnızca adresiyle dizinde görünebilir. Dizinden çıkarmak için sayfanın taranmasına izin verip noindex kullanmak gerekir. Google, robots.txt içindeki noindex satırını da 2019'dan beri desteklemiyor.

Yapay zekâ çağında robots.txt yeni bir önem kazandı. GPTBot, OAI-SearchBot veya Google-Extended gibi belirteçleri ayrı ayrı engelleyerek içeriğinizin model eğitiminde kullanılmasını sınırlarken yapay zekâ aramasında görünmeye devam edebilirsiniz. Hepsini körü körüne engellemek, ChatGPT gibi asistanlarda kaynak olma şansını da ortadan kaldırabilir.

Ciddi bir hata: geliştirme ortamından kalan Disallow: / satırının canlı siteye taşınması. Tek satır, tüm sitenin taranmasını durdurur.

## Sitenizde nasıl kontrol edilir?

1. alanadiniz.com/robots.txt adresini tarayıcıda açın.
2. Search Console'daki robots.txt raporunda Google'ın dosyayı hatasız okuyup okumadığına bakın.
3. Önemli sayfalarınızın ve CSS/JS dosyalarınızın engellenmediğini kontrol edin.

Birincil kaynak: [Google Search Central: robots.txt dosyalarına giriş](https://developers.google.com/search/docs/crawling-indexing/robots/intro)

İlgili terimler: https://flatinium.com/sozluk/noindex, https://flatinium.com/sozluk/xml-site-haritasi, https://flatinium.com/sozluk/googlebot, https://flatinium.com/sozluk/gptbot, https://flatinium.com/sozluk/google-extended