Rotbot.txt arama motorlarının örümcekleriyle diyalog kurabildiğimiz bir belgedir.
Örneğin sitemizin admin klosöründeki sayfalarını indexlemesini istemediğimizde Disallow: /Admin yazısını eklerdik veya User-agent: Googlebot Disallow: yazıp googlebot a gir abi derdik. Baya zaman alan bir hazırlayış içine girer hata yapmamak için 100 kere kontrol edip vakit harcardık. Hep dık lı mıklı konuşuyorum çünkü artık gerek kalmadı 
Aşşagıda vereceğim adres ile kolaylıkla Robot.txt oluşturabilirsiniz....
http://www.mcanerin.com/EN/search-engine/robots-txt.asp
12 kişi tarafından 4.3 olarak değerlendirildi
- Currently 4,25/5 Stars.
- 1
- 2
- 3
- 4
- 5
Seo
robot.txt, seo