Google Bot Nedir?
Googlebot, HTTP istekleri göndererek sayfaları çeker. İçeriği parse eder, linkleri keşfeder. Indexing pipeline'a gönderir. User-agent: Googlebot.
Neden Önemlidir?
Sayfaların indekslenmesi için Googlebot'un erişmesi gerekir. Crawl budget, robots.txt ve teknik engeller bot davranışını etkiler.
Nasıl Çalışır?
Sitemap ve link keşfi ile sayfaları bulur. robots.txt'e uyar. JavaScript için renderer kullanır. Rate limit ve politeness kurallarına uyar.
Dikkat Edilmesi Gerekenler
- robots.txt yanlış yapılandırılırsa önemli sayfalar taranmayabilir.
- JavaScript ağır sayfalar geç indekslenebilir; SSR veya pre-render düşünün.
- Crawl budget büyük sitelerde sınırlayıcı olabilir; öncelik verin.
Sık Sorulan Sorular
Googlebot vs Googlebot Smartphone?
Desktop ve mobil user-agent. Mobile-first indexing'de Smartphone öncelikli. İkisi de aynı pipeline'a gider.
Googlebot'u nasıl doğrularım?
GSC'de URL Inspection. Reverse DNS: googlebot.com'dan gelmeli. Sahte bot'lara dikkat.
Googlebot'u engelleyebilir miyim?
Evet. robots.txt Disallow veya meta noindex. Dikkatli kullanın; sayfa indekslenmez.