Robots.txt Nedir?
robots.txt, botlara tarama kuralları bildiren dosyadır.
Neden Önemlidir?
Tarama bütçesini yönetir; gereksiz crawl'i azaltır.
Nasıl Çalışır?
Kullanıcı ajanlarına göre Allow/Disallow kuralları tanımlanır.
Dikkat Edilmesi Gerekenler
- robots.txt ile noindex'i karıştırmayın.
- Yanlış Disallow önemli sayfaları engelleyebilir.
- Dosya değişikliklerini Search Console Robots.txt Tester ile doğrulayın.
Sık Sorulan Sorular
robots.txt nedir?
Botlara tarama kurallarını bildiren dosyadır.
robots.txt noindex mi?
Hayır. Crawl'i etkiler; index kontrolü farklıdır.
robots.txt ne zaman güncellenmeli?
Site yapısı değiştikçe, yeni alanlar eklendikçe veya kurallar güncellenince.