İçeriğe geç
Flatinium
SEO6 dk okumaYazanDeniz Işık

Tarama bütçesi nedir, kimin derdi olmalı?

Küçük sitelerde tarama bütçesi neredeyse hiçbir zaman sorun değil. Gerçekten sorun olduğu dört durum, bütçeyi boşa harcayan tipik hatalar ve Search Console’dan nasıl kontrol edileceği.

Tarama bütçesi nedir, kimin derdi olmalı? — Flatinium SEO yazısının kapak görseli

Önce bir beklentiyi düzeltelim

Tarama bütçesi, SEO konuşmalarında gerçek ağırlığından çok daha fazla yer kaplayan bir konu.

Tanımı basit: Googlebot'un sitenizde belirli bir sürede gezdiği sayfa sayısı. Sınırsız değil çünkü Google'ın kaynakları sonsuz değil ve sitenizin sunucusunu yormak istemiyor.

Ama şu gerçek çoğu zaman söylenmiyor: birkaç yüz sayfalık bir sitede tarama bütçesi pratikte hiçbir zaman sorun olmuyor.

Google'ın büyük site tarama bütçesi belgesi bunu doğrudan yazıyor: bu konu, binlerce sayfası olan siteler için.

Kimin gerçekten derdi?

Dört durumda tarama bütçesi gerçek bir konu hâline geliyor.

On binlerce sayfalı siteler. Haber siteleri, büyük kataloglar, kullanıcı içerikli platformlar.

Parametreli adres üreten e-ticaret siteleri. Tek bir kategori sayfası, filtre kombinasyonlarıyla binlerce adrese çıkabiliyor.

Sık güncellenen büyük siteler. İçerik günlük değişiyorsa Google'ın yeni hâli görmesi gerekiyor.

Yavaş sunucular. Sunucu geç yanıt veriyorsa Google tarama hızını kendiliğinden düşürüyor.

Bu dördünden hiçbiri size uymuyorsa, konuyu okuduğunuz için bilgi sahibi olun ama üzerinde zaman harcamayın.

Dikkat — Küçük bir sitede tarama bütçesiyle uğraşmak, çözülmesi gereken gerçek sorunlardan dikkat çalıyor. Öncelik neredeyse her zaman indekslenebilirlik ve içerik tarafında.

Bütçeyi ne harcıyor?

Yaygın bir yanlış inanış var: "çok sayfa üretirsem bütçem biter."

Yeni ve özgün içerik üretmek bütçe sorunu üretmiyor. Bütçeyi harcayan şey tekrar.

Kopya adresler. Aynı içeriğin www'lu, www'suz, parametreli ve parametresiz sürümleri. Ayrıntısını kopya içerik yazımızda yazdık.

Filtre kombinasyonları. Renk, beden, fiyat aralığı ve sıralama seçenekleri çarpıldığında ortaya sonsuza yakın sayıda adres çıkıyor.

Yönlendirme zincirleri. Her adım ayrı bir istek. Zincirler hem bütçe harcıyor hem değer kaybettiriyor; bağlantı değeri yazısında ele aldık.

Hata veren sayfalar. Googlebot 404 ve 500 dönen adresleri de deniyor.

Değersiz sayfalar. İçeriği olmayan etiket arşivleri, boş kategori sayfaları, yazar arşivleri.

Search Console'da nasıl görülür?

Tahmin etmeye gerek yok; Google kendi verisini gösteriyor.

Ayarlar → Tarama istatistikleri raporu şunları veriyor: günlük tarama isteği sayısı, indirilen toplam veri, ortalama yanıt süresi ve isteklerin ne tür yanıtlar aldığı.

Bakılacak üç şey:

  1. Yanıt kodu dağılımı. 404 ve yönlendirme oranı yüksekse bütçe boşa gidiyor demektir.
  2. Ortalama yanıt süresi. Yüksekse Google tarama hızını düşürüyor olabilir.
  3. Tarama amacı dağılımı. Google keşif mi yapıyor yoksa bilinen sayfaları mı yeniliyor?

Bu rapor, tarama bütçesi konusunda gerçekten karar verdirebilecek tek kaynak.

Belirti

Muhtemel sebep

Tarama isteklerinin çoğu 404

Kırık iç bağlantılar, eski site haritası

Tarama isteklerinin çoğu yönlendirme

Zincirler, güncellenmemiş bağlantılar

Yanıt süresi yüksek

Sunucu ya da barındırma yetersiz

Yeni sayfalar geç keşfediliyor

İç bağlantı eksikliği

Tarama sayısı düşüyor

Sunucu yavaşlıyor ya da içerik değişmiyor

Tablodaki son satır yanlış anlaşılıyor: tarama sayısının düşmesi her zaman kötü değil. Sitesi değişmeyen bir sayfayı Google daha seyrek ziyaret ediyor, bu doğal.

Yapılabilecek şeyler

Sıralama, kazanç büyüklüğüne göre.

1. Kırık bağlantıları ve 404'leri temizleyin. En hızlı kazanç. Site haritasında ve iç bağlantılarda 404 dönen adres kalmamalı.

2. Yönlendirme zincirlerini kısaltın. Her bağlantı doğrudan son hedefi göstersin.

3. Parametreli adresleri yönetin. Filtre ve sıralama kombinasyonları için kanonik etiket kurun; gerekiyorsa tarama tarafında sınırlayın.

4. Site haritasını temizleyin. Yalnızca indekslenmesini istediğiniz, 200 dönen, kanonik adresler kalsın. Yönlendirilen ve noindex olan adresler çıkarılsın.

5. Değersiz arşivleri kapatın. Kullanılmayan etiket ve yazar arşivleri indekslenmemeli.

6. Sunucu yanıt süresini iyileştirin. Bu, tarama hızını doğrudan etkileyen tek altyapı kalemi.

Örnek senaryo — Bir e-ticaret sitesinde tarama istatistiklerine bakıldığında isteklerin önemli kısmının filtre parametreli adreslere gittiği görülüyor. Ürün sayfaları haftalarca taranmıyor. Filtre adreslerine kanonik kurulup tarama tarafında sınırlandırıldığında Googlebot'un zamanı ürün sayfalarına kayıyor ve yeni ürünler daha hızlı indekslenmeye başlıyor.

Kuralların nasıl yorumlandığı Google'ın robots belgelerinde yazılı.

robots.txt mi noindex mi?

Bu iki araç sık karıştırılıyor ve yanlış kullanıldığında ters etki yapıyor.

robots.txt taranmayı engelliyor. Sayfa hiç ziyaret edilmiyor. Ama başka bir yerden bağlantı alıyorsa, Google onu içeriğini görmeden indeksleyebiliyor.

noindex indekslenmeyi engelliyor. Sayfa taranıyor ama dizine alınmıyor.

Kritik nokta: robots.txt ile engellenen bir sayfadaki noindex etiketi okunmuyor. Sayfa taranmadığı için etiket görülmüyor.

Doğru kullanım:

  • Sonsuz kombinasyon üreten adresler → robots.txt
  • İndekslenmemesi gereken ama erişilebilir kalması gereken sayfalar → noindex
  • İkisi birden → önce noindex koyulup Google'ın görmesi beklenir, sonra robots.txt

Küçük sitede ne yapılmalı?

Cevap kısa: bu konuyu bırakıp indekslenebilirliğe bakın.

Küçük bir sitede sayfaların indekslenmeme sebebi bütçe değil. Daha yaygın sebepler:

  • Sayfa hiç iç bağlantı almıyor
  • İçerik zayıf bulunuyor
  • Kanonik etiket başka sayfayı gösteriyor
  • Sayfa yeni ve henüz değerlendirilmemiş

Bu dördü kontrol edilmeden yapılan tarama bütçesi çalışması boşa emek.

İpucu — Search Console'da "Sayfalar" raporundaki "Taranmadı" ve "Dizine eklenmedi" gerekçelerini okuyun. Google sebebi doğrudan yazıyor ve o sebep neredeyse hiçbir zaman tarama bütçesi olmuyor.

Büyük sitede önceliklendirme

Gerçekten büyük bir siteniz varsa yapılacak iş, bütçeyi artırmaya çalışmak değil doğru sayfalara yönlendirmek.

Google'a "bu sayfalar önemli" demenin yolları:

İç bağlantı. Önemli sayfalara daha çok ve daha yakın bağlantı verin. Ana sayfadan üç tıklamadan uzakta kalan sayfalar daha seyrek taranıyor.

Site haritası önceliği. Değişim sıklığı ve öncelik alanları mutlak değil ama bir sinyal.

Güncellik. Gerçekten güncellenen sayfalar daha sık taranıyor. Tarihi değiştirip içeriği aynı bırakmak işe yaramıyor.

Site haritası nasıl temizlenir?

Tarama tarafında en çok karşılığı olan ve en kolay yapılan iş.

Site haritasında bulunmaması gerekenler:

  • Yönlendirilen adresler
  • 404 dönen adresler
  • noindex işaretli sayfalar
  • Kanonik başka sayfayı gösteren adresler
  • Parametreli adres varyasyonları

Search Console site haritası raporunda bunların bir kısmı doğrudan uyarı olarak görünüyor.

Temiz bir site harita, Googlebot'a "önemsediğim sayfalar bunlar" demenin en net yolu.

Sunucu tarafı

Tarama hızını doğrudan belirleyen tek altyapı kalemi sunucu yanıt süresi.

Google, sunucunuzun yavaşladığını fark ettiğinde tarama hızını kendiliğinden düşürüyor — siteyi yormamak için. Yani yavaş sunucu iki kez cezalandırıyor: hem kullanıcı bekliyor hem sayfalar daha seyrek taranıyor.

Search Console'un tarama istatistikleri raporunda ortalama yanıt süresi görünüyor. Bu değer zamanla yükseliyorsa altyapı tarafında bir sorun birikiyor demektir.

Ne zaman gerçekten müdahale edilmeli?

Üç işaret birlikte görünüyorsa:

  1. Tarama isteklerinin önemli kısmı 404 ya da yönlendirme alıyor
  2. Yeni yayınlanan sayfalar haftalarca indekslenmiyor
  3. Search Console'da "taranmadı" gerekçesiyle bekleyen çok sayıda sayfa var

Üçü birden yoksa konuyu kapatıp içerik ve iç bağlantı tarafına geçmek daha verimli.

Sonuç — Tarama bütçesi gerçek bir kavram ama çoğu site için gerçek bir sorun değil. Sorun olup olmadığına Search Console'un tarama istatistikleri raporuna bakarak karar verilir; oradan bir işaret gelmiyorsa zaman başka yere ayrılmalı.

Teknik tarafın tamamını teknik SEO kapsamında yürütüyoruz; sitenizde gerçekten bir tarama sorunu olup olmadığını SEO denetimi ve analiz çalışmasında çıkarıyoruz. E-ticaret tarafındaki parametre yönetimi e-ticaret SEO başlığında.

Bu konuyla ilgili

SSS

Sık sorulan sorular

Tarama bütçesi benim sitem için sorun mu?

Sayfa sayınız birkaç bini geçmiyorsa neredeyse kesinlikle hayır. Google küçük siteleri sorunsuz tarıyor. Sorun on binlerce sayfalı sitelerde, özellikle parametreli adres üreten e-ticaret sitelerinde ortaya çıkıyor.

Sayfalarım geç indeksleniyor, sebebi bütçe mi?

Genellikle değil. Geç indekslenmenin daha yaygın sebepleri var: sayfanın hiç iç bağlantı almaması, içeriğin zayıf bulunması veya kanonik etiketin başka sayfayı göstermesi. Bütçe teşhisine gitmeden önce bunlar kontrol edilmeli.

Bütçeyi en çok ne harcıyor?

Tekrar. Aynı içeriğin farklı adreslerde bulunması, filtreleme ve sıralama parametreleriyle üretilen sonsuz adres kombinasyonları, yönlendirme zincirleri ve hata veren sayfalar. Yeni içerik üretmek bütçe harcamıyor; kopya adres üretmek harcıyor.

robots.txt ile engellemek çözüm mü?

Bazı durumlarda evet ama dikkatli kullanılmalı. robots.txt ile engellenen bir sayfa taranmıyor, ancak başka yerden bağlantı alıyorsa yine de indekslenebiliyor. İndekslenmemesi gereken sayfalar için doğru araç noindex; taranmaması gereken sonsuz kombinasyonlar için robots.txt uygun.

Site haritası bütçeyi etkiler mi?

Doğrudan artırmıyor ama yönlendiriyor. Temiz bir site haritası — yalnızca indekslenmesini istediğiniz, 200 dönen, kanonik adresler — Googlebot’un zamanını doğru sayfalara ayırmasına yardım ediyor. İçinde yönlendirme ve 404 olan bir harita ters etki yapıyor.