User agent nedir? SEO ile bağlantısı ve nasıl kontrol edilir
User agent, bir tarayıcının veya botun kendini sunucuya tanıttığı kimlik metnidir. SEO açısından önemi, sitenizin Googlebot’a insan ziyaretçiden farklı içerik göstermemesini doğrulayabilmenizden geliyor.
Tanım
User agent (kullanıcı aracısı), bir tarayıcının veya botun sunucuya kendini tanıttığı metin. Her istekle birlikte gönderiliyor ve şu bilgileri taşıyor: yazılımın adı, sürümü, işletim sistemi, bazen cihaz tipi.
Sunucu bu bilgiye bakıp farklı cevap verebiliyor. SEO açısından kritik nokta tam burada.
Neye benziyor?
Tipik bir masaüstü tarayıcı kimliği uzun ve karmaşık: Mozilla ile başlıyor, ardından işletim sistemi, render motoru ve tarayıcı sürümü geliyor. Tarihsel sebeplerle neredeyse hepsi Mozilla ile başlıyor — bu bir uyumluluk mirası.
Bot kimlikleri daha sade oluyor. Googlebot, Bingbot, GPTBot gibi isimler doğrudan içinde geçiyor ve genellikle bir doğrulama adresi barındırıyor.
Kimlik | Kime ait | Ne yapıyor |
|---|---|---|
Googlebot | Arama dizini için tarama | |
Bingbot | Microsoft | Bing dizini |
GPTBot | OpenAI | Model eğitimi |
OAI-SearchBot | OpenAI | ChatGPT arama sonuçları |
PerplexityBot | Perplexity | Yanıt motoru kaynakları |
ClaudeBot | Anthropic | Model eğitimi için içerik toplama |
Claude-User | Anthropic | Kullanıcı Claude'a soru sorduğunda siteye erişim |
Claude-SearchBot | Anthropic | Arama sonucu kalitesi için içerik analizi |
Google-Extended | Gemini eğitimi (arama dizininden ayrı) | |
Applebot-Extended | Apple | Apple yapay zekâ eğitimi |
AhrefsBot | Ahrefs | SEO araç verisi |
Anthropic'in üç ayrı botu olması tesadüf değil: eğitim, kullanıcı isteği ve arama ayrı ayrı işaretlenmiş ki site sahibi hangisine izin vereceğini seçebilsin. Tam liste ve açıklamaları Anthropic'in kendi belgesinde yayınlanıyor.
Araç botları (son satır) sunucu yükü yaratabiliyor ve engellenmesi çoğu zaman zararsız. Ama ilk satırlar dikkat istiyor.
SEO ile bağlantısı
Hangi kimliğin gerçekten Google’a ait olduğunu tahmin etmeye gerek yok. Google tarayıcılarının tam listesini yayımlıyor; listede her botun kimliği, işlevi ve doğrulama yöntemi yazıyor.
Dört ayrı yerde karşınıza çıkıyor:
1. robots.txt kuralları
robots.txt dosyası kullanıcı aracısına göre kural yazmanızı sağlıyor. Googlebot'a bir şey, GPTBot'a başka bir şey diyebiliyorsunuz.
Burada verilecek strateji kararı şu: yapay zekâ botlarına izin verecek misiniz? İki taraf da savunulabilir.
İzin verirseniz: ChatGPT, Perplexity ve benzeri motorlarda kaynak olarak geçebiliyorsunuz. Marka görünürlüğü kazanıyorsunuz ama tıklama garantisi yok.
Engellerseniz: İçeriğiniz model eğitiminde kullanılmıyor ama yanıt motorlarında da hiç görünmüyorsunuz.
Biz kendi sitemizde izin veriyoruz. Sebebi basit: yeni müşteri arayan bir hizmet işletmesi için görünürlük, içerik korumasından daha değerli. Bu tercih yapay zekâ arama optimizasyonu yaklaşımımızın temeli.
2. Mobil öncelikli indeksleme
Google artık ağırlıklı olarak Googlebot Smartphone kullanıyor. Yani sitenizin mobil hâli esas alınıyor.
Sunucunuz mobil ve masaüstüne farklı içerik veriyorsa, Google mobil olanı görüyor. Mobilde eksik bıraktığınız içerik indekslenmiyor.
3. Cloaking riski
Cloaking, bota kullanıcıdan farklı içerik göstermek. Google bunu açıkça yasaklıyor ve tespit edildiğinde ceza veriyor.
Ama şu ayrımı yapmak gerekiyor: kullanıcı aracısına göre biçim değiştirmek sorun değil, içerik değiştirmek sorun.
Yapılan | Sorun mu |
|---|---|
Mobilde farklı düzen, aynı içerik | Sorun değil |
Bot için sadeleştirilmiş HTML, aynı metin | Sınırda, önerilmez |
Bota anahtar kelime dolu metin, kullanıcıya başka sayfa | Cloaking, cezalık |
Bota tam içerik, kullanıcıya ödeme duvarı | İzinli, ama işaretleme gerekiyor |
Son satır için Google’ın ayrı bir kuralı var — abonelik içeriği için yapısal veri ile bildirim yapmak gerekiyor.
4. Sunucu kaydı analizi
Sunucu kayıtları her isteğin kullanıcı aracısını saklıyor. Bu, Googlebot'un sitenizde gerçekte nereye gittiğini gösteren tek gerçek kaynak.
Search Console özet veriyor, sunucu kaydı ayrıntı veriyor. Büyük sitelerde şunları ortaya çıkarıyor:
- Bot tarama bütçesinin çoğunu değersiz sayfalara harcıyor mu?
- Önemli sayfalar ne sıklıkla taranıyor?
- Bot hangi hatalarla karşılaşıyor?
Sonuç — Kullanıcı aracısı küçük bir teknik ayrıntı gibi duruyor ama sitenizin kime ne gösterdiğini belirleyen şey bu. Yanlış yapılandırıldığında Google sitenizi göremiyor, doğru yapılandırıldığında hiç fark edilmiyor.
Yapay zekâ botları için politika kurmak
Bu, son iki yılda ortaya çıkmış yeni bir karar alanı ve çoğu site henüz bilinçli bir tercih yapmış değil — varsayılan olarak hepsine açıklar.
Ayrımı netleştirmekte fayda var. Yapay zekâ botları iki gruba ayrılıyor:
Eğitim botları (GPTBot, Google-Extended, Applebot-Extended, CCBot). İçeriğinizi model eğitiminde kullanıyorlar. Size doğrudan bir görünürlük getirisi yok.
Yanıt botları (OAI-SearchBot, PerplexityBot, Claude-SearchBot). Kullanıcı soru sorduğunda kaynak arıyorlar ve cevabın altında sitenizi kaynak olarak gösteriyorlar. Getirisi doğrudan.
Buradan çıkan pratik strateji şu: yanıt botlarına mutlaka izin verin, eğitim botlarında tercihinizi işinize göre yapın.
İşletme tipi | Önerilen tavrımız |
|---|---|
Hizmet satan işletme | İkisine de izin — görünürlük her şeyden değerli |
Haber ve yayın | Yanıt botlarına izin, eğitime kapalı |
Ücretli içerik / eğitim | Yanıt botlarına kısmi, eğitime kapalı |
E-ticaret | İkisine de izin — ürün görünürlüğü kazandırıyor |
Kararınızı robots.txt’de kullanıcı aracısı adına göre yazıyorsunuz. Yanlış yazılmış tek bir satırın tüm yapay zekâ görünürlüğünü kapatabildiğini unutmayın — değişiklikten sonra dosyayı mutlaka doğrulayın.
İpucu — robots.txt’de yapay zekâ botlarına izin verirken şunu kontrol edin: güvenlik katmanınız o botları ayrıca engelliyor olabilir. İzin vermiş görünüp aslında engelliyor olmak, en sık karşılaştığımız sessiz hata — hiçbir raporda görünmüyor.
Test etmenin yolu
Sitenizin farklı kimliklere nasıl cevap verdiğini görmek için:
Tarayıcı geliştirici araçları. Ağ sekmesinde kullanıcı aracısını değiştirip sayfayı yeniden yükleyebiliyorsunuz. Hızlı kontrol için yeterli.
Search Console URL denetimi. Google’ın gerçekte ne gördüğünü gösteriyor. En güvenilir yöntem.
Komut satırı. Farklı kimlik dizeleriyle istek atıp gelen HTML'i karşılaştırmak. Otomatikleştirilebiliyor.
Karşılaştırmada aradığınız şey: normal tarayıcı ile Googlebot kimliğine gelen HTML arasında anlamlı içerik farkı var mı?
Sık karşılaşılan sorun — bot koruması
Cloudflare, Sucuri gibi servisler agresif ayarlandığında gerçek arama motoru botlarını da engelleyebiliyor. Belirtisi Search Console'da ani tarama düşüşü ve artan sunucu hatası.
Çözüm: bot koruma ayarlarında doğrulanmış arama motoru botlarını beyaz listeye almak. Çoğu servis bunu hazır seçenek olarak sunuyor.
Dikkat edilecek bir ayrıntı var: beyaz liste genellikle Googlebot ve Bingbot'u kapsıyor ama yapay zekâ yanıt botlarını kapsamıyor. Perplexity veya ChatGPT'de görünmek istiyorsanız onları ayrıca eklemeniz gerekiyor. Aksi hâlde robots.txt’de izin vermiş olmanıza rağmen güvenlik katmanı istekleri geri çeviriyor ve bunu hiçbir raporda göremiyorsunuz — çünkü Search Console yalnızca Google’ı izliyor.
Ne zaman önemsemeyin?
Küçük bir kurumsal sitede kullanıcı aracısıyla uğraşmaya gerek yok. Sunucu herkese aynı HTML'i veriyorsa ve Search Console'da tarama sorunu görünmüyorsa, bu konu sizin için çözülmüş demektir.
Konu şu durumlarda gerçek: sunucu tarafında cihaz tespiti yapılıyorsa, önünde bot koruması varsa, veya içerik JavaScript ile yükleniyorsa.
Yılda bir kez kontrol etmek yeterli. Bakılacak üç şey: robots.txt hâlâ istediğiniz kuralları içeriyor mu, Search Console'da tarama grafiği düz mü, ve URL denetimi aracındaki ekran görüntüsü sitenizin gerçek hâline benziyor mu. Üçü de temizse bu konuyu kapatabilirsiniz.
Sitenizin bot davranışını denetlememizi isterseniz teknik SEO hizmetimiz robots.txt, sunucu kaydı ve render kontrollerini kapsıyor.
Bu konuyla ilgili
- Googlebot ne iş yapar? — Tarama, indeksleme ve sıralamanın ayrı aşamalar olması.
- ChatGPT’de markanız çıkıyor mu? — Sunucu kaydında gördüğünüz yapay zekâ botlarının sonuca dönüşüp dönüşmediğini ölçmek.
