robots.txt介绍

robots作用的作用是什么？
通过robots.txt可以控制SE收录内容，告诉蜘蛛哪些文件和目录可以收录，哪些不可以

收录。

如何写robots.txt
用几个最常见的情况，直接举例说明：
1. 允许所有SE收录本站：robots.txt为空就可以，什么都不要写。

2. 禁止所有SE收录网站的某些目录：

User-agent: *
Disallow: /目录名1/
Disallow: /目录名2/
Disallow: /目录名3/

3. 禁止某个SE收录本站，例如禁止百度：

User-agent: Baiduspider
Disallow: /

4. 禁止所有SE收录本站：

User-agent: *
Disallow: /

5. 加入sitemap.xml路径,例如：