Rotbot.txt arama motorlarının örümcekleriyle diyalog kurabildiğimiz bir belgedir.
Örneğin sitemizin admin klosöründeki sayfalarını indexlemesini istemediğimizde Disallow: /Admin yazısını eklerdik veya User-agent: Googlebot Disallow: yazıp googlebot a gir ...
[Fazlası]
12 kişi tarafından 4.3 olarak değerlendirildi
- Currently 4,25/5 Stars.
- 1
- 2
- 3
- 4
- 5
Seo
robot.txt, seo