目前我只知道 robots.txt的作用就是允许or禁止某一个搜寻引擎找到网站资料!
目前看了一些网站教学还是有点茫然~
茫然地点有：
1.不知道有哪些状况会想把自己的网站对某个搜寻引擎给封闭?
2.以下是blogspot默认的robots.txt数值
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://自己网站/sitemap.xml
第一段看起来是允许Mediapartners-Google搜寻的意思，既然允许为何还要添加这一段?
3.同上，第二段的第一个agent的意思应该是(开放所有寻引擎)，但下面不允许、允许
都有放上 / ，怎么看起来是一个不允许、一个又允许了呢?
以上是我的疑问，谢谢!