User agent nedir? SEO ile bağlantısı ve nasıl kontrol edilir
User agent, bir tarayıcının veya botun kendini sunucuya tanıttığı kimlik metnidir. SEO açısından önemi, sitenizin Googlebot’a insan ziyaretçiden farklı içerik göstermemesini doğrulayabilmenizden geliyor.
Kısaca
- User agent (kullanıcı aracısı), tarayıcı ya da botun her istekte sunucuya gönderdiği kimlik dizesidir; örneğin "Mozilla/5.0 (Windows NT 10.0; Win64; x64) … Chrome/130.0.0.0 Safari/537.36" dizesi Windows üzerinde Chrome demektir.
- Dize soldan sağa okunur: Mozilla/5.0 uyumluluk mirası, parantez içi işletim sistemi, AppleWebKit render motoru, Chrome/… gerçek tarayıcı ve sürüm; Safari/537.36 yine uyumluluk eki.
- Kendi user agent dizenizi tarayıcı konsolunda navigator.userAgent yazarak ya da geliştirici araçlarının Ağ sekmesindeki istek başlıklarından görürsünüz.
- Googlebot dizesinde "Googlebot/2.1", Bingbot’ta "bingbot/2.0", OpenAI’de "GPTBot" ve "OAI-SearchBot", Anthropic’te "ClaudeBot", Perplexity’de "PerplexityBot" belirteci geçer; tam dizeler her şirketin kendi bot belgesinde yayımlanır.
- Sunucunun bota insandan farklı içerik göstermesi (cloaking) Google’ın spam politikasında ihlaldir; biçim farkı serbest, içerik farkı değil.
- User agent taklit edilebilir; gerçek Googlebot olduğunu doğrulamanın yolu Google’ın yayımladığı IP aralıkları ve ters DNS kontrolüdür.
User agent (kullanıcı aracısı), bir tarayıcının ya da botun her istekte sunucuya gönderdiği, kendini tanıtan kısa metin dizesidir. Windows üzerinde Chrome kullanan bir bilgisayarın gönderdiği dize şuna benzer: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/130.0.0.0 Safari/537.36. Sunucu bu dizeye bakıp cihaza ya da bota göre farklı cevap verebilir; SEO'daki önemi de buradan geliyor: Googlebot'a insandan farklı içerik gösterilmediğini doğrulamak ve hangi botun siteye girebileceğine karar vermek.
User agent nedir, ne demek?
User agent, HTTP isteğinin başlığında User-Agent adıyla giden metin. Şu bilgileri taşıyor: yazılımın adı, sürümü, işletim sistemi, bazen cihaz tipi. Türkçesi "kullanıcı aracısı"; teknik yazında çoğunlukla İngilizce hâliyle geçiyor.
Tipik bir masaüstü tarayıcı dizesi uzun ve karmaşık: Mozilla ile başlıyor, ardından işletim sistemi, render motoru ve tarayıcı sürümü geliyor. Tarihsel sebeplerle neredeyse hepsi Mozilla ile başlıyor — bu bir uyumluluk mirası. Bot dizeleri daha sade: Googlebot, bingbot, GPTBot gibi isimler doğrudan içinde geçiyor ve genellikle bir doğrulama adresi barındırıyor.
Sunucu bu bilgiye bakıp farklı cevap verebiliyor. SEO açısından kritik nokta tam burada.
User agent dizesi nasıl okunur?
Yukarıdaki Chrome örneğini soldan sağa parçalayalım. Dizenin biçimi MDN'nin User-Agent başlığı belgesinde tanımlı:
Parça | Ne anlatıyor |
|---|---|
Mozilla/5.0 | Gerçek bir bilgi değil; 1990'lardan kalan uyumluluk mirası, hemen her tarayıcı yazıyor |
(Windows NT 10.0; Win64; x64) | İşletim sistemi ve mimari; mobilde burada Android ya da iPhone geçer |
AppleWebKit/537.36 | Render motoru; Chrome, Edge ve Safari aynı aileden geldiği için ortak |
(KHTML, like Gecko) | Yine uyumluluk eki; Firefox'un motoruna benzediğini söylüyor |
Chrome/130.0.0.0 | Asıl tarayıcı ve sürüm; Edge'de bunun yanına Edg/… eklenir |
Safari/537.36 | Uyumluluk eki; Chrome kendini Safari ile uyumlu ilan ediyor |
İki pratik sonuç var. Birincisi, dizeyi okurken en sağdaki anlamlı belirtece bakmak gerekiyor; Mozilla ya da Safari yazması tarayıcının Firefox ya da Safari olduğu anlamına gelmiyor. İkincisi, Chrome 2023'ten bu yana dizenin bir kısmını sabitliyor: işletim sistemi sürümü ve küçük sürüm numaraları gerçek değeri göstermiyor. Cihaz tespiti için dizeye güvenmek bu yüzden eskisinden daha zayıf bir yöntem.
Kendi user agent'ımı nasıl görürüm?
Üç yol var, üçü de ücretsiz:
- Tarayıcı konsolu. Sayfada F12 ile geliştirici araçlarını açın, Konsol sekmesine navigator.userAgent yazıp Enter'a basın. Tarayıcınızın o anda gönderdiği dize olduğu gibi görünür.
- Ağ sekmesi. Geliştirici araçlarında Ağ (Network) sekmesini açıp sayfayı yenileyin, herhangi bir isteğe tıklayın ve İstek başlıkları altında User-Agent satırına bakın. Burada ayrıca Sec-CH-UA başlıklarını görürsünüz; Chrome tarayıcı bilgisini artık büyük ölçüde oradan veriyor.
- Sunucu erişim kaydı. Kendi sitenizin erişim kayıtlarında her satırın sonunda isteği yapanın user agent dizesi durur. Hangi botun ne sıklıkla geldiğini görmenin tek gerçek kaynağı burası.
Dizeyi geçici olarak değiştirmek de mümkün: geliştirici araçlarındaki cihaz simülasyonu (Ctrl+Shift+M) mobil bir user agent gönderir. Sitenizin Googlebot'a ne gösterdiğini test ederken de aynı yöntem kullanılıyor; aşağıda anlatıyoruz.
Googlebot ve yapay zekâ botlarının user agent'ları
Hangi dizenin gerçekten hangi şirkete ait olduğunu tahmin etmeye gerek yok; her biri kendi belgesinde yayımlıyor. Tablodaki belirteç, dizenin içinde geçen ve robots.txt'de kural yazarken kullanılan addır; tam dizeler kaynak belgelerde:
Belirteç | Kime ait | Ne yapıyor | Dizedeki doğrulama adresi |
|---|---|---|---|
Googlebot/2.1 | Arama dizini; masaüstü ve akıllı telefon sürümü ayrı | google.com/bot.html | |
bingbot/2.0 | Microsoft | Bing dizini | bing.com/bingbot.htm |
GPTBot | OpenAI | Model eğitimi | openai.com/gptbot |
OAI-SearchBot | OpenAI | ChatGPT arama sonuçları | openai.com/searchbot |
ChatGPT-User | OpenAI | Kullanıcı ChatGPT'de soru sorduğunda siteye erişim | openai.com/bot |
PerplexityBot | Perplexity | Yanıt motoru dizini | perplexity.ai/perplexitybot |
Perplexity-User | Perplexity | Kullanıcı isteğiyle sayfa ziyareti | perplexity.ai/perplexity-user |
ClaudeBot | Anthropic | Model eğitimi için içerik toplama | anthropic.com |
Claude-User | Anthropic | Kullanıcı Claude'a soru sorduğunda siteye erişim | anthropic.com |
Claude-SearchBot | Anthropic | Arama sonucu kalitesi için içerik analizi | anthropic.com |
Google-Extended | Gemini eğitimi (arama dizininden ayrı; yalnızca robots.txt belirteci) | — | |
AhrefsBot | Ahrefs | SEO araç verisi | ahrefs.com/robot |
Kaynaklar: Google'ın tarayıcı listesi, OpenAI bot belgesi, Anthropic'in tarayıcı açıklaması, Perplexity bot belgesi, Bing'in tarayıcıları.
Anthropic'in üç ayrı botu olması tesadüf değil: eğitim, kullanıcı isteği ve arama ayrı ayrı işaretlenmiş ki site sahibi hangisine izin vereceğini seçebilsin. OpenAI ve Perplexity de aynı ayrımı yapıyor. Google-Extended ise bir tarayıcı değil, robots.txt'de Gemini eğitimine izin verip vermediğinizi söylediğiniz bir belirteç; arama dizinini etkilemiyor.
Önemli bir uyarı: user agent dizesi taklit edilebilir. Kötü niyetli bir tarayıcı kendine "Googlebot" yazabilir. Gerçekten Google'dan gelip gelmediğini anlamanın yolu, Google'ın yayımladığı IP aralıkları ve ters DNS kontrolü. Sunucu kaydında Googlebot görünen ama Google IP'sinden gelmeyen istekler, çoğunlukla içerik kazıyıcı.
Araç botları (son satır) sunucu yükü yaratabiliyor ve engellenmesi çoğu zaman zararsız. Ama üst satırlar dikkat istiyor.
SEO ile bağlantısı
Hangi kimliğin gerçekten Google’a ait olduğunu tahmin etmeye gerek yok. Google tarayıcılarının tam listesini yayımlıyor; listede her botun kimliği, işlevi ve doğrulama yöntemi yazıyor.
Dört ayrı yerde karşınıza çıkıyor:
1. robots.txt kuralları
robots.txt dosyası kullanıcı aracısına göre kural yazmanızı sağlıyor. Googlebot'a bir şey, GPTBot'a başka bir şey diyebiliyorsunuz.
Burada verilecek strateji kararı şu: yapay zekâ botlarına izin verecek misiniz? İki taraf da savunulabilir.
İzin verirseniz: ChatGPT, Perplexity ve benzeri motorlarda kaynak olarak geçebiliyorsunuz. Marka görünürlüğü kazanıyorsunuz ama tıklama garantisi yok.
Engellerseniz: İçeriğiniz model eğitiminde kullanılmıyor ama yanıt motorlarında da hiç görünmüyorsunuz.
Biz kendi sitemizde izin veriyoruz. Sebebi basit: yeni müşteri arayan bir hizmet işletmesi için görünürlük, içerik korumasından daha değerli. Bu tercih yapay zekâ arama optimizasyonu yaklaşımımızın temeli.
2. Mobil öncelikli indeksleme
Google artık ağırlıklı olarak Googlebot Smartphone kullanıyor. Yani sitenizin mobil hâli esas alınıyor.
Sunucunuz mobil ve masaüstüne farklı içerik veriyorsa, Google mobil olanı görüyor. Mobilde eksik bıraktığınız içerik indekslenmiyor.
3. Cloaking riski
Cloaking, bota kullanıcıdan farklı içerik göstermek. Google bunu açıkça yasaklıyor ve tespit edildiğinde ceza veriyor.
Ama şu ayrımı yapmak gerekiyor: kullanıcı aracısına göre biçim değiştirmek sorun değil, içerik değiştirmek sorun.
Yapılan | Sorun mu |
|---|---|
Mobilde farklı düzen, aynı içerik | Sorun değil |
Bot için sadeleştirilmiş HTML, aynı metin | Sınırda, önerilmez |
Bota anahtar kelime dolu metin, kullanıcıya başka sayfa | Cloaking, cezalık |
Bota tam içerik, kullanıcıya ödeme duvarı | İzinli, ama işaretleme gerekiyor |
Son satır için Google’ın ayrı bir kuralı var — abonelik içeriği için yapısal veri ile bildirim yapmak gerekiyor.
4. Sunucu kaydı analizi
Sunucu kayıtları her isteğin kullanıcı aracısını saklıyor. Bu, Googlebot'un sitenizde gerçekte nereye gittiğini gösteren tek gerçek kaynak.
Search Console özet veriyor, sunucu kaydı ayrıntı veriyor. Büyük sitelerde şunları ortaya çıkarıyor:
- Bot tarama bütçesinin çoğunu değersiz sayfalara harcıyor mu?
- Önemli sayfalar ne sıklıkla taranıyor?
- Bot hangi hatalarla karşılaşıyor?
Sonuç — Kullanıcı aracısı küçük bir teknik ayrıntı gibi duruyor ama sitenizin kime ne gösterdiğini belirleyen şey bu. Yanlış yapılandırıldığında Google sitenizi göremiyor, doğru yapılandırıldığında hiç fark edilmiyor.
Yapay zekâ botları için politika kurmak
Bu, son iki yılda ortaya çıkmış yeni bir karar alanı ve çoğu site henüz bilinçli bir tercih yapmış değil — varsayılan olarak hepsine açıklar.
Ayrımı netleştirmekte fayda var. Yapay zekâ botları iki gruba ayrılıyor:
Eğitim botları (GPTBot, Google-Extended, Applebot-Extended, CCBot). İçeriğinizi model eğitiminde kullanıyorlar. Size doğrudan bir görünürlük getirisi yok.
Yanıt botları (OAI-SearchBot, PerplexityBot, Claude-SearchBot). Kullanıcı soru sorduğunda kaynak arıyorlar ve cevabın altında sitenizi kaynak olarak gösteriyorlar. Getirisi doğrudan.
Buradan çıkan pratik strateji şu: yanıt botlarına mutlaka izin verin, eğitim botlarında tercihinizi işinize göre yapın.
- Hizmet satan işletme: ikisine de izin — görünürlük her şeyden değerli.
- Haber ve yayın: yanıt botlarına izin, eğitime kapalı.
- Ücretli içerik ve eğitim: yanıt botlarına kısmi izin, eğitime kapalı.
- E-ticaret: ikisine de izin — ürün görünürlüğü kazandırıyor.
Kararınızı robots.txt’de kullanıcı aracısı adına göre yazıyorsunuz. Yanlış yazılmış tek bir satırın tüm yapay zekâ görünürlüğünü kapatabildiğini unutmayın — değişiklikten sonra dosyayı mutlaka doğrulayın.
İpucu — robots.txt’de yapay zekâ botlarına izin verirken şunu kontrol edin: güvenlik katmanınız o botları ayrıca engelliyor olabilir. İzin vermiş görünüp aslında engelliyor olmak, en sık karşılaştığımız sessiz hata — hiçbir raporda görünmüyor.
Test etmenin yolu
Sitenizin farklı kimliklere nasıl cevap verdiğini görmek için:
Tarayıcı geliştirici araçları. Ağ sekmesinde kullanıcı aracısını değiştirip sayfayı yeniden yükleyebiliyorsunuz. Hızlı kontrol için yeterli.
Search Console URL denetimi. Google’ın gerçekte ne gördüğünü gösteriyor. En güvenilir yöntem.
Komut satırı. Farklı kimlik dizeleriyle istek atıp gelen HTML'i karşılaştırmak. Otomatikleştirilebiliyor.
Karşılaştırmada aradığınız şey: normal tarayıcı ile Googlebot kimliğine gelen HTML arasında anlamlı içerik farkı var mı?
Sık karşılaşılan sorun — bot koruması
Cloudflare, Sucuri gibi servisler agresif ayarlandığında gerçek arama motoru botlarını da engelleyebiliyor. Belirtisi Search Console'da ani tarama düşüşü ve artan sunucu hatası.
Çözüm: bot koruma ayarlarında doğrulanmış arama motoru botlarını beyaz listeye almak. Çoğu servis bunu hazır seçenek olarak sunuyor.
Dikkat edilecek bir ayrıntı var: beyaz liste genellikle Googlebot ve Bingbot'u kapsıyor ama yapay zekâ yanıt botlarını kapsamıyor. Perplexity veya ChatGPT'de görünmek istiyorsanız onları ayrıca eklemeniz gerekiyor. Aksi hâlde robots.txt’de izin vermiş olmanıza rağmen güvenlik katmanı istekleri geri çeviriyor ve bunu hiçbir raporda göremiyorsunuz — çünkü Search Console yalnızca Google’ı izliyor.
Ne zaman önemsemeyin?
Küçük bir kurumsal sitede kullanıcı aracısıyla uğraşmaya gerek yok. Sunucu herkese aynı HTML'i veriyorsa ve Search Console'da tarama sorunu görünmüyorsa, bu konu sizin için çözülmüş demektir.
Konu şu durumlarda gerçek: sunucu tarafında cihaz tespiti yapılıyorsa, önünde bot koruması varsa, veya içerik JavaScript ile yükleniyorsa.
Yılda bir kez kontrol etmek yeterli. Bakılacak üç şey: robots.txt hâlâ istediğiniz kuralları içeriyor mu, Search Console'da tarama grafiği düz mü, ve URL denetimi aracındaki ekran görüntüsü sitenizin gerçek hâline benziyor mu. Üçü de temizse bu konuyu kapatabilirsiniz.
Sitenizin bot davranışını denetlememizi isterseniz teknik SEO hizmetimiz robots.txt, sunucu kaydı ve render kontrollerini kapsıyor.
Bu konuyla ilgili
- Googlebot ne iş yapar? — Tarama, indeksleme ve sıralamanın ayrı aşamalar olması.
- ChatGPT’de markanız çıkıyor mu? — Sunucu kaydında gördüğünüz yapay zekâ botlarının sonuca dönüşüp dönüşmediğini ölçmek.
- yapay zekâ görünürlük testi — Hangi bot kimliğine izin verdiğinizi tek tek sorgulayan ücretsiz araç.
