Googlebot bağlantıları ve site haritalarını izleyerek yeni adresler bulur, sayfaları indirir ve güncel Chromium tabanlı bir motorla JavaScript'i çalıştırarak işler (render). Bu yüzden JavaScript ile oluşturulan içerik görülebilir, ama render ek zaman ve kaynak gerektirir; kritik içeriğin sunucu tarafında HTML'de bulunması daha güvenlidir.
Googlebot-Image, Googlebot-Video ve Googlebot-News gibi özel varyantlar da vardır. Google-Extended ise ayrı bir tarayıcı değil, yalnızca robots.txt'de kullanılan bir belirteçtir.
Kendini Googlebot olarak tanıtan her istek gerçekten Google'dan gelmez; kullanıcı aracısı dizesi kolayca taklit edilir. Gerçek Googlebot'u doğrulamak için IP adresinin ters DNS sorgusunun googlebot.com veya google.com ile bitmesi ya da Google'ın yayımladığı IP aralıklarında olması kontrol edilir.
Sitenizde nasıl kontrol edilir?
- Search Console'daki Tarama istatistikleri raporunda Googlebot türlerine göre istek dağılımını görün.
- URL Denetimi'nde “Canlı URL'yi test et” ile Googlebot'un sayfayı nasıl gördüğüne bakın.
- Sunucu günlüklerindeki Googlebot isteklerini ters DNS ile doğrulayın.
Ayrıntı ve uygulama: Googlebot ne iş yapar
Kaynak: Google Search Central: Googlebot
İlgili terimler
- Tarama bütçesiTarama bütçesi, Googlebot'un bir siteye belirli bir sürede ayırabildiği ve ayırmak istediği tarama miktarıdır. Sunucunun kaldırabildiği tarama hızı ile Google'ın siteye duyduğu tarama talebinin birleşimidir; çoğu küçük ve orta ölçekli site için sorun değildir.
- robots.txtrobots.txt, sitenin kök dizininde duran ve tarayıcılara hangi adresleri tarayıp hangilerini taramayacaklarını söyleyen düz metin dosyasıdır. Taramayı kontrol eder, dizine eklemeyi değil; bir sayfayı Google'dan gizlemek için kullanılmaz.
- Google-ExtendedGoogle-Extended, site sahiplerinin Google'ın taradığı içeriğin Gemini modellerinin eğitiminde ve Gemini uygulamaları ile Vertex AI'daki grounding işleminde kullanılıp kullanılmayacağını robots.txt üzerinden yönetmesini sağlayan belirteçtir. Google Arama'yı ve yapay zekâ özetlerini etkilemez.
- Mobil öncelikli indekslemeMobil öncelikli indeksleme, Google'ın bir sayfayı dizine eklerken ve sıralarken o sayfanın mobil sürümünü esas almasıdır. Google sitelerin büyük çoğunluğunu akıllı telefon Googlebot'u ile tarar; masaüstünde olup mobilde olmayan içerik yok sayılabilir.
- BingbotBingbot, Microsoft'un Bing arama motoru için web sayfalarını tarayan standart tarayıcısıdır. Bing'in dizini yalnızca Bing aramasını değil, Microsoft Copilot gibi Bing verisini kullanan yapay zekâ deneyimlerini de besler.
Sözlüğün tamamı (70 terim) · Sitenizi kontrol edin: web sitesi kontrol aracı