Search Engine Spider

Search Engine Spider, web sitelerini keşfetmek ve bağlantıları izleyerek tarama yapmak için kullanılan botların genel adıdır. Teknik olarak crawl süreciyle ilişkilidir ve URL keşfi sağlar. Spider davranışı; robots.txt, sayfa yanıt kodları, yönlendirmeler, site hızı ve iç bağlantı yapısından etkilenir. Spider, bazen render gerektirmeyen sayfalarda içerik okuyabilir; bazen de içeriği görselleştirmek için rendering adımı devreye girer. SEO açısından hedef; önemli URL'lerin spider tarafından erişilebilir ve hatasız görülmesidir. Böylece crawl bütçesi doğru sayfalara harcanır.