Googlebot Nedir?
Googlebot, HTTP isteği gönderen, sayfa çeken, link takip eden program. User-agent: Googlebot.
Neden Önemlidir?
İndeksleme için erişim. Crawl budget, robots.txt ve teknik engeller bot davranışını etkiler.
Nasıl Çalışır?
Sitemap ve link keşfi ile sayfaları bulur. robots.txt'e uyar. JavaScript için renderer kullanır.
Dikkat Edilmesi Gerekenler
- Sahte Googlebot (referrer spoofing) olabilir; reverse DNS ile doğrulayın.
- robots.txt yanlış yapılandırılırsa önemli sayfalar taranmayabilir.
- Crawl budget büyük sitelerde sınırlayıcı olabilir.
Sık Sorulan Sorular
Googlebot vs Google Bot?
Aynı. Googlebot resmi yazım. Google Bot alternatif.
Googlebot nasıl doğrulanır?
Reverse DNS: googlebot.com. GSC URL Inspection. User-agent spoofing yaygın.
Googlebot Smartphone?
Mobil user-agent. Mobile-first indexing'de öncelikli. İkisi de aynı pipeline'a gider.