Crawler Nedir?
Web'i tarayan bot. Link takip, içerik indirme. Googlebot, Bingbot. Spider, bot.
Neden Önemlidir?
Taranmadan indexleme yok. Crawl verimliliği. robots.txt, yapı crawler için.
Nasıl Çalışır?
Başlangıç URL'leri (sitemap, link). Link takip. Sayfa indir. Indexer'a gönder. Sürekli döngü.
Dikkat Edilmesi Gerekenler
- Crawler user-agent'ı değiştirilebilir; güvenilmez. robots.txt ve yapı önemli.
- JavaScript crawler'lar render gerektirir; Google WRS kullanır.
- Crawl-delay robots.txt'te Google tarafından desteklenmez.
Sık Sorulan Sorular
Googlebot nedir?
Google'ın crawler'ı. Desktop ve mobil varyantları var. User-agent: Googlebot. Sitenizi tarar, indexler.
Crawler siteyi nasıl keşfeder?
Sitemap, external link, önceki crawl. Link takip. Internal link keşif için kritik. Yeni sayfa link ile bulunur.
Crawler engellenebilir mi?
robots.txt Disallow, noindex. Login, CAPTCHA. Engelleme indexlemeyi önler. Dikkatli kullanılmalı.