Sitemi yapay zekâ botlarına kapatmalı mıyım

Soru yanlış kurulunca

"Yapay zekâ botlarını engelleyeyim mi" sorusu, botların hepsi aynı işi yapıyormuş gibi kurulduğunda cevaplanamıyor.

Yapmıyorlar. En az üç farklı işlev var ve engellemenin sonucu her birinde farklı.

Eğitim amaçlı toplama. İçerik, gelecekteki modellerin eğitiminde kullanılmak üzere toplanıyor.

Arama ve güncel bilgi getirme. Kullanıcı bir soru sorduğunda, cevabı üretmek için siteler taranıyor.

Kullanıcı isteğiyle sayfa açma. Kullanıcı bir adres verdiğinde veya bir sayfayı özetletmek istediğinde yapılan tekil istek.

Bu üçü ayrılmadan verilen karar, istenmeyen sonuç üretiyor. En yaygın hata: gizlilik kaygısıyla toptan engelleme yapıp, farkında olmadan cevaplarda görünürlüğü de kapatmak.

Kim ne yapıyor

Motorlar botlarını kendi belgelerinde ilan ediyor. Tahmin etmeye gerek yok.

Bu belgelerde her botun kimliği, işlevi ve nasıl engelleneceği yazılı. Kararınızı bu belgelerden okuyarak verin; ikinci elden duyulan bilgilerle değil.

Dikkat — Bu alandaki bot adları ve politikalar değişiyor. Bir yıl önce doğru olan bir liste bugün eksik olabilir. robots.txt dosyanızı yılda bir kez bu belgelere bakarak gözden geçirmek gerekiyor.

Google tarafındaki karışıklık

En sık yanlış bilinen konu bu, ayrıca ele almaya değer.

Google-Extended ayrı bir kontrol ve Google'ın tarayıcı belgesinde açıkça belirtildiği üzere sitenin Google Arama'daki yerini etkilemiyor.

Aramadaki yapay zekâ özellikleri ise Google'ın yapay zekâ özellikleri belgesine göre standart indeksleme denetimleriyle yönetiliyor; ayrı bir katılım ayarı bulunmuyor.

Pratik sonuç: Google-Extended kapatmak aramadaki yapay zekâ özelliklerini devre dışı bırakmıyor. Bunları birbirinin yerine kullanan bir tavsiyeyle karşılaşırsanız, o tavsiyeyi vereni sorgulayın.

Karar tablosu

Son satır önemli: hassas bilgi robots.txt ile korunmuyor. robots.txt bir talep, erişim denetimi değil — dosyanın kendisi herkese açık ve kapattığınız dizinleri ilan ediyor.

Kısmen açık bırakmak

Çoğu işletme için doğru yaklaşım toptan karar değil, seçici davranmak.

robots.txt bot bazında ve dizin bazında kural yazmaya izin veriyor; Google'ın robots.txt belgesi sözdizimini ayrıntılı anlatıyor.

Pratik bir düzen şöyle kurulabiliyor: hizmet sayfaları, blog ve sık sorulan sorular tüm botlara açık; üyelik alanı, sepet, hesap sayfaları ve arama sonucu sayfaları kapalı.

Bu düzen zaten klasik arama için de doğru olan düzen. Yapay zekâ botları için ayrı bir mimari kurmak çoğu sitede gereksiz.

Örnek senaryo — Bir müşteri gizlilik kaygısıyla robots.txt dosyasına bulabildiği tüm yapay zekâ botlarını engelleyen kurallar eklemişti. Aylar sonra hiçbir dil modelinin markayı önermediğini fark etti ve içerik üretmeye karar verdi. Kuralları incelediğimizde arama amaçlı botların da listede olduğunu gördük. Eğitim botları kapalı bırakıldı, arama botları açıldı. Sonraki ölçümde marka birkaç soruda geçmeye başlamıştı; üretilen yeni içerik yoktu.

Engelledikten sonra ne oluyor

Kararınızın sonucunu görmek için beklemeniz gerekiyor ve bu süre belirsiz.

Bir botu engellediğinizde daha önce toplanmış içerik geriye dönük silinmiyor. Aynı şekilde, engeli kaldırdığınızda da botların siteyi yeniden çekmesi zaman alıyor.

Bu yüzden kararı sık sık değiştirmek verimsiz. Bir kez düşünüp uygulamak, sonra ayda bir ölçmek daha sağlıklı.

Sunucu yükü gerçek bir sorunsa

Kapatma isteğinin bazen gizlilikle ilgisi yok; bot trafiği sunucuyu yoruyor.

Bu gerçek bir sorun olabiliyor, özellikle çok sayfalı sitelerde. Ama çözümü toptan engelleme değil.

Tarama hızını sınırlayın. robots.txt bazı botlar için tarama gecikmesi tanımlamaya izin veriyor; motorun belgesinde destekleniyorsa bu, kapatmadan yükü düşürüyor.

Gereksiz adresleri kapatın. Filtre kombinasyonları, arama sonucu sayfaları ve sonsuz takvim adresleri bot trafiğinin büyük kısmını üretebiliyor. Bunları kapatmak hem yükü düşürüyor hem klasik arama için de doğru.

Sunucu tarafında sınır koyun. İstek hızına sınır getirmek, kimliği engellemekten daha ölçülü bir müdahale.

Üçü de görünürlüğü koruyarak yükü düşürüyor.

Yılda bir gözden geçirin

Bu alan hızlı değişiyor. Motorlar yeni botlar tanıtıyor, mevcut botların işlevleri ayrışıyor ve politikalar güncelleniyor.

Bir yıl önce doğru olan bir robots.txt bugün eksik olabilir — hiç duymadığınız bir bot sitenizi tarıyor veya kapattığınız bir kimlik artık kullanılmıyor olabilir.

Yılda bir kez motorların belgelerine bakıp dosyanızı gözden geçirmek yarım saatlik iş. Bu alışkanlık olmadığında dosya donuyor ve zamanla gerçeği yansıtmaz hâle geliyor.

Engellemenin ölçülemeyen tarafı

Kapatma kararının en zor yanı, sonucunu göremiyor olmanız.

Botları engellediğinizde ne kaybettiğinizi ölçemiyorsunuz. Cevaplarda geçmediğiniz için hiç gelmeyen ziyaretçi, hiçbir panelde görünmüyor. Bu, kararın maliyetini görünmez kılıyor.

Buna karşılık açık bırakmanın maliyeti ölçülebiliyor: sunucu kayıtlarında bot trafiğini görüyorsunuz.

Bu asimetri, kararı doğal olarak kapatma yönüne itiyor — görünen maliyet ile görünmeyen fayda karşılaştırıldığında. Bunun farkında olmak, kararı daha dengeli vermenizi sağlıyor.

Kararı belgeleyin

Bu, küçük ama zamanla değerli bir alışkanlık.

robots.txt dosyanıza neyi neden yaptığınızı yorum satırı olarak yazın. Altı ay sonra dosyaya bakan kişi — belki siz, belki başka biri — hangi kuralın hangi gerekçeyle konduğunu bilsin.

Yorum satırı olmayan robots.txt dosyalarında en sık görülen şey şu: kimsenin neden orada olduğunu bilmediği ve kaldırmaya çekindiği kurallar. Bu kurallar yıllarca kalıyor ve zamanla zarar veriyor.

Karar verirken tek soru

Bütün tartışmayı tek bir soruya indirgemek mümkün:

İçeriğiniz sizin ürününüz mü, yoksa müşteri bulma aracınız mı?

İçerik satan bir yayıncıysanız — kurs, arşiv, abonelik, telif ürünü — koruma mantıklı ve bunu değerlendirmelisiniz.

Hizmet veya ürün satan bir işletmeyseniz içerik zaten müşteri bulmak için var. Onu kapatmak, amacın kendisini iptal ediyor.

Bu ikinci gruptaysanız — ki okuyanların çoğu bu grupta — asıl soru "kapatayım mı" değil, "neden hiç görünmüyorum". Onun cevabını yapay zekâ cevabında rakibim çıkıyor ben çıkmıyorum yazısında yazdık.

Sonuç — Botları işlevlerine göre ayırmadan verilen kapatma kararı, korunmak istenen şeyi korumuyor ama görünürlüğü kapatıyor. Karar vermeden önce motorların kendi belgelerini okuyun.

Sitenizin bugünkü bot politikasını denetleyip hangi kararın işinize uyduğunu çıkarıyoruz — bu, ücretsiz denetimin parçası. Yapay zekâ tarafındaki çalışma yapay zekâ arama optimizasyonu, robots ve erişim denetimi teknik SEO kapsamında. Tek motora odaklı çalışma için ChatGPT SEO sayfasına bakabilirsiniz.