Google Spider Nedir?
Spider = crawler = bot. Web'i gezen, sayfa çeken program. Googlebot resmi ad; spider günlük kullanım.
Neden Önemlidir?
İndeksleme için spider'ın erişmesi gerekir. Crawl budget, robots.txt spider davranışını etkiler.
Nasıl Çalışır?
HTTP isteği gönderir, HTML alır. Linkleri parse eder, takip eder. İçeriği indexing pipeline'a gönderir.
Dikkat Edilmesi Gerekenler
- robots.txt yanlış yapılandırılırsa önemli sayfalar taranmayabilir.
- JavaScript ağır sayfalar geç taranabilir; SSR düşünün.
- Crawl budget büyük sitelerde sınırlayıcı.
Sık Sorulan Sorular
Spider vs Googlebot?
Aynı şey. Googlebot resmi ad. Spider/crawler genel terim.
Spider'ı engelleyebilir miyim?
Evet. robots.txt Disallow veya meta noindex. Dikkatli; sayfa indekslenmez.
Kaç tür Googlebot var?
Googlebot (desktop), Googlebot Smartphone (mobil). Image, Video vb. özel botlar da var.