Robots.txt Nedir?

Robots.txt dosyası web sitelerinin vazgeçilmezleri arasında yer almaktadır. Bu metin dosyası ile arama sonuçlarında gözükmesini istemediğiniz sayfaların ya da medya dosyalarının engellenmesini sağlamaktasınız. Bu dosya ile isterseniz tüm site içeriklerinizi arama motorlarından engelleyebilirsiniz ya da sadece istenilmeyen yolları engelleyerek ziyaretçilerin ve arama motorları örümceklerini o sayfalardan uzak tutabilirsiniz.

Posted in SEO

Bir cevap yazın

E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir