Crawling Nedir?
Botların sayfa keşfi ve indirmesi. Link takip. Veri toplama. Indexleme öncesi adım.
Neden Önemlidir?
Crawling olmadan indexleme yok. SEO temeli. Crawl verimliliği stratejik.
Nasıl Çalışır?
Crawler URL ister. Sunucu HTML döner. Crawler link çıkarır, yeni URL ekler. Döngü. Indexer'a gönderir.
Dikkat Edilmesi Gerekenler
- Crawling ≠ indexleme. Taranan sayfa indexlenmeyebilir (kalite, noindex).
- JavaScript içerik render gerektirir; Google yapar ama gecikme olabilir.
- Crawl budget büyük sitelerde sınırlayıcı.
Sık Sorulan Sorular
Crawling ve indexleme farkı?
Crawling: sayfa indirme, keşif. Indexing: dizine ekleme, arama sonucu. Önce crawl, sonra index. İkisi ayrı adımlar.
Sayfa taranıyor ama indexlenmiyor?
Kalite, duplicate, noindex. GSC URL Inspection. Neden indexlenmedi raporu. İçerik, yönergeler kontrol.
Crawling hızlandırılabilir mi?
Dolaylı: site hızı, sitemap, internal link. Google karar verir. Request indexing (GSC) tek sayfa için.