怎么用robort.txt禁止收录一级域名

1、首先我们来了解下robots.txt的书写要求，图示为百度robot的规则（其它浏览器通用）

2、首先，新建一个txt文档，内容开头是User-agent:项，我们想让其对所有的搜索引擎有效，设置为：

User-agent:*

3、下一行我们声明禁止收录的页面，用Disallow：，规范是例如

Disallow:/help         禁止robot访问/help.html、/helpabc.html、/help/index.html

Disallow:/help/        禁止robot访问help文件下的网页,允许访问/help.html

Disallow:                  允许访问所有url

4、禁止所有robot访问

Disallow:  /

5、下一行写入Allow：，允许访问的url

可以写上面不允许访问目录中的个别url，使其可收录，例如

Allow:/help/phone.html

6、最后我们可以加入我们站点的sitemap地址，方便收录。

Sitemap: http://***.com/sitemap.xml

7、保存文档，放入站点根目录