Büyük siteler belirli bir noktadan sonra arama botlarıyla garip bir gerilim içine girer. Site büyür, sayfa sayısı artar; ama botların taradığı sayfa oranı giderek düşer. Yeni yayımlanan içerikler günlerce, kimi zaman haftalarca indekse girmez. Sorunun kökü çoğunlukla sunucu hızında ya da içerik kalitesinde değil, site mimarisindeki kararlarda yatar.

Crawl bütçesi (tarama bütçesi), arama botlarının belirli bir sürede bir siteye ayırdığı istek sayısını ifade eder. Bu sayı sonsuz değildir; bot her siteye verdiği süreyi ve işlem kapasitesini, sitenin otorite sinyalleri ve sunucu yanıt süreleriyle dengeli biçimde belirler. Mimarinin devreye girdiği yer tam burasıdır: Tıklama derinliği, URL yapısı ve iç linkleme örüntüsü, botun bu bütçeyi nereye harcadığını doğrudan etkiler.

Küçük siteler için bu sorun pratikte önemsizdir. Beş yüz sayfanın altındaki bir site neredeyse her koşulda kısa sürede tamamen taranır. On binlerce ürün içeren bir e-ticaret sitesi, binlerce makale barındıran bir yayın platformu ya da yüzlerce doküman içeren bir teknik bilgi tabanı için ise mimari kararlar crawl verimliliğini doğrudan şekillendirir.

Tarama bütçesi hangi siteleri gerçekten etkiler?

Tarama bütçesi, küçük ve orta ölçekli sitelerde sıklıkla dile getirilse de pratikte yalnızca belirli eşiklerin üzerindeki sitelerde belirleyici bir etken haline gelir. Bir blogun ya da kurumsal sitenin yüz sayfası birkaç saatte taranır; bu durumda bütçeyi optimize etmek için mimari değişiklikler yapmak zorunlu değildir.

Üç tür site öne çıkar: Ürün ve kategori yapısıyla parametrik URL'ler üreten e-ticaret siteleri, sürekli içerik eklemeye devam eden yayın ve arşiv platformları, çok sayıda ara sayfa (etiket, filtre, sayfalama) oluşturan içerik yönetim sistemleri. Bu sitelerde gereksiz URL'ler bütçeyi tüketir ve öncelikli sayfaların taranma sıklığını düşürür.

Tarama bütçesinin kısıtlı olduğunu nasıl anlarsınız? Yeni yayımlanan bir sayfa birkaç haftayı aşan sürede indekse girmiyorsa; sitenizdeki log dosyaları botun belirli kategorilere hiç girmediğini gösteriyorsa; arama konsolunda dizine eklenmemiş sayfa sayısı sürekli artıyorsa, mimari nedenler araştırılmaya değer. Önce sunucu hızı ve robots.txt ayarlarını elemek gerekir; bu ikisi temizse URL hiyerarşisi ve tıklama derinliği inceleme sırası gelir.

Tıklama derinliği bot davranışını nasıl şekillendirir?

Tıklama derinliği (click depth), ana sayfadan bir sayfaya ulaşmak için gereken minimum tıklama sayısıdır. URL yapısı bu sayıyı doğrudan göstermez; /kategori/alt-kategori/urun-adi/ biçimi URL'de üç seviye görünür, ama iç linkleme sayesinde bu sayfaya ana sayfadan iki tıklamayla ulaşılabilir. Bot tıklama derinliğini URL yapısından değil, link grafiğinden çıkarır.

Derin sayfalar iki açıdan sorun yaratır. Birincisi, bot genellikle sitenin köküne yakın sayfaları önce tarar; derinlerdeki sayfalar bütçe dolduğunda atlanır. İkincisi, otorite sinyalleri link zinciri boyunca dağılır; her ek tıklama katmanı bu sinyali seyreltir. Sekiz tıklama gerektiren bir ürün sayfası hem daha geç taranır hem de daha düşük otorite değeriyle değerlendirilir.

Dört tıklama üstü derinlik büyük siteler için genellikle sorunludur. E-ticaret sitelerinde ürün sayfaları için üç tıklama ideal hedef olarak benimsenir: ana sayfa, kategori, ürün. Bir ara kademe eklendiğinde dört tıklama olur; bu kabul edilebilir. Beş ve üzeri, özel bir gerekçe yoksa yapısal bir sorun işaretidir.

URL hiyerarşisi ve mimari kararlar

URL derinliği ile tıklama derinliği birbirini besler ama aynı şey değildir. URL yapısı görsel bir ipucudur; tıklama derinliği gerçek link grafiğini yansıtır. İyi bir mimari her ikisini de gözetir.

Düz URL yapısı (flat architecture) tıklama derinliğini azaltır. /urun/urun-adi/ biçimi, /kategori/alt-kategori/alt-alt-kategori/urun-adi/ biçimine göre hem bot hem kullanıcı açısından çok daha sığdır. Ancak düz yapı her zaman doğru tercih değildir; büyük sitelerde anlam gruplarına göre URL segmentleri kategorize etmek içerik türlerini ayırt etmeyi kolaylaştırır.

Burada bir değiş tokuş söz konusudur. Derin URL hiyerarşisi anlam taşır, bakımı kolaylaştırır ve navigasyon mantığıyla örtüşür; ama her seviye eklendikçe tıklama derinliği büyüme riski artar. Çözüm, hiyerarşiyi körce düzleştirmek değil, gereksiz ara katmanları elemektir. Alt-kategori altında alt-alt-kategori yoksa, zorunlu olmayan orta katmanı kaldırmak hem URL hem link grafik derinliğini azaltır.

Kategori sayfası sayısının nasıl belirleneceği konusu burada tarama bütçesiyle doğrudan kesişir. Fazla kategori sayfası hem crawl bütçesini hem tıklama derinliğini olumsuz etkiler; aşırı az kategori ise ürünleri gömer ve liste sayfalarını şişirir.

İç linkleme yapısı crawl dağılımını belirler

Bot sayfaları URL'den tahmin etmez; link izleyerek keşfeder. İç linkleme haritası, tarama botunun sitenizi nasıl gezdiğini doğrudan şekillendirir. Konuya iki farklı açıdan bakmak gerekir.

İlk açı erişilebilirliktir. Herhangi bir sayfaya en az bir iç linkten ulaşılabilmesi gerekir; yalnız kalan sayfalar (orphan pages) botun link grafik üzerinden bulduğu sayfaların dışında kalır. Sitemap bu boşluğu kısmen kapatabilir, ama sitemap üzerinden bulunan sayfalar link zincirindeki sayfalardan genellikle daha düşük öncelikle işlenir.

İkinci açı dağılım kalitesidir. Ana sayfadan ya da yüksek otoriteli sayfalardan gelen linkler, bota hangi sayfaların öncelikli olduğunu sinyaller; önemli ürün sayfalarına kategori sayfalarından ve ana navigasyondan link vermek o sayfaların taranma sıklığını ve otorite payını artırır. Tersine, değersiz sayfalara (eski kampanyalar, boş filtre kombinasyonları) ana navigasyondan link vermek bütçenin bu sayfalara akmasına neden olur.

Navigasyon sadeliği salt kullanıcı deneyimi meselesi değildir; navigasyondaki her link bota bir sinyal taşır. Yüzlerce öğeye sahip bir navigasyon hem kullanıcıyı ezer hem de crawl bütçesini gereksiz yere dağıtır.

Parametre ve yinelenen URL sorunu

Crawl bütçesi israfının en sık karşılaşılan nedeni, parametrik URL'lerden doğan yinelenen içeriktir. Bir e-ticaret sitesinde renk, beden, sıralama ve sayfa numarası kombinasyonları binlerce benzersiz URL üretir; bu URL'lerin büyük çoğunluğu özünde aynı ya da neredeyse aynı içeriği sunar.

Bot bu URL'leri birbirinden farklı sayfalar olarak algılar ve her birini taramaya çalışır. Gerçek ürün ve kategori sayfaları için harcanacak bütçe, parametrik varyantlar arasında dağılır. Yönetilmeyen bir parametre yapısı botun tarama süresi açısından ciddi bir israf kaynağına dönüşür.

Çözüm yolları birkaç farklı katmanda bulunur. robots.txt üzerinden parametre içeren URL'leri kısıtlamak hızlı ama kaba bir yöntemdir; yanlış yapılandırılırsa gerçek sayfaları da dışarıda bırakabilir. canonical etiketi yinelenen sayfaları işaret eden bir yol sunar, ama botun sayfayı taramaktan vazgeçmesini garantilemez. noindex direktifi sayfayı indeksten çıkarır, taramayı engellemez. En temiz çözüm, parametreleri sunucu katmanında yönetmek ve anlamsız kombinasyonların URL olarak görünmesini baştan önlemektir.

Çok boyutlu filtreleme (faceted navigation) özellikle dikkat ister. Her filtre kombinasyonu ayrı URL oluşturmak yerine JavaScript tabanlı durum yönetimiyle ve URL hash ile çalıştırılabilir; bu durumda botlar filtrelenmiş sayfaları ayrı URL olarak görmez. Ancak bu yaklaşımın kendi ödünleşimleri vardır: Bazı filtrelenmiş sayfalara arama görünürlüğü kazandırmak isteniyorsa, bunların taranabilir URL'lere sahip olması gerekir ve bu sayfaların sayısını bilinçli sınırlamak zorunlu hale gelir.

Büyük sitelerde izleme ve yapısal düzeltme

Crawl bütçesi sorunları çoğunlukla sessiz birikir. Site büyür, parametrik URL'ler artar, yeni kategoriler eklenir; ama bütçe izlenmediği için tarama verimliliğindeki düşüş fark edilmez. Bunun önüne geçmenin yolu, yapısal değişiklikleri crawl verisini izleyerek takip etmektir.

Sunucu log dosyaları en doğrudan kaynaktır. Botun hangi sayfaları ne sıklıkta ziyaret ettiği, hangi hata kodlarıyla karşılaştığı ve hangi URL kalıplarına yoğunlaştığı log'larda görünür. Arama konsolu tarama raporu daha özet bir görünüm sunar; ancak log dosyalarının ayrıntısına ulaşamaz.

Aylık mimari denetim bu veriyi düzenli aralıklarla değerlendirmenin yapısal bir yoludur. Her denetimde taranmayan ama önemli olan sayfaların listesi çıkarılır; bu sayfaların tıklama derinliği ve iç link durumu kontrol edilir. Denetim bir alışkanlık haline geldiğinde yapısal borcun birikmesi önlenir.

Mimari değişiklik gerektiğinde adımları dikkatli planlamak önemlidir. URL yapısı değişikliği, yönlendirme zinciri ve iç link güncellemesi gerektirdiğinden bir kez yapılıp bırakılan değil, plan çerçevesinde yürütülen bir süreçtir. 301 yönlendirme planı bu geçiş sırasında link otoritesinin ve tarama geçmişinin korunmasını sağlar. Yapısal kontrol listesi büyük değişikliklerden önce hangi URL'lerin kapsama dahil edildiğini ve iç link haritasının güncellenip güncellenmediğini belgelemeye yardımcı olur.

Headless CMS gibi modern mimari yaklaşımlar crawl bütçesini farklı biçimlerde etkiler. Headless CMS ile site mimarisi planlanırken içerik tipleri ve URL üretim kuralları baştan belirlenmezse, parametrik URL ve yinelenen içerik riski kolayca gizlenebilir; içerik yönetim katmanının esnekliği bu riski artırır.

Tarama bütçesini verimli kullanmak, site mimarisinin özündeki bir soruyu yanıtlamakla başlar: Hangi sayfaların taranması gerçekten önemli? Bu sorunun yanıtı netleştiğinde URL hiyerarşisi, iç linkleme, parametre yönetimi ve navigasyon kararları daha tutarlı bir çerçeveye oturur.

Mimari kararların çoğu kısa vadede görünmez. Tıklama derinliğini iki seviye azaltmak anlık bir dönüşüm artışı yaratmaz; ama büyük bir sitede tarama bütçesinin hangi sayfalara aktığını belirlemek, yeni içeriklerin daha hızlı indekse girmesini ve öncelikli sayfaların daha sık güncellenmesini sağlar. Botlar değişen bir yapıya uyum sağlamak için zaman ister; mimari değişiklikler bu nedenle sabırla ve ölçümlü adımlarla yürütülür.