Bot Nedir?
Otomatik HTTP isteği yapan, sayfa içeriğini çeken yazılım. Crawler, spider, bot eşanlamlı kullanılır. User-agent ile tanımlanır.
Neden Önemlidir?
Arama motoru botları indeksleme için kritiktir; engellenmemelidir. Kötü niyetli botlar bant genişliği tüketir, içerik çalar.
Nasıl Çalışır?
Bot User-Agent ile kendini tanıtır. robots.txt ile kurallar belirtilir. Rate limit, CAPTCHA kötü botları sınırlar.
Dikkat Edilmesi Gerekenler
- Googlebot'u yanlışlıkla engellemeyin; noindex, disallow dikkatli kullanılmalıdır.
- robots.txt sadece yönerge verir; kötü botlar uymayabilir. Güvenlik ayrı katmanda olmalıdır.
- Crawl budget büyük sitelerde önemlidir; öncelikli sayfalar taranmalıdır.
Sık Sorulan Sorular
Googlebot nasıl tanınır?
User-Agent: Googlebot. Google doğrulama için reverse DNS kontrolü önerir; sahte Googlebot'lar engellenebilir.
Bot trafiği analytics'te görünür mü?
Evet. Filtreleme yapılmazsa bot istekleri sayfa görüntülemesi olarak sayılır. Bot filtreleme önerilir.
Tüm botlar engellenebilir mi?
robots.txt ve güvenlik kuralları ile sınırlandırılabilir. Uyumlu botlar kurallara uyar; kötü botlar uymayabilir.