什么是robots文件？
搜索引擎中访问网站的时候要查看的第一个文件。当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。常用于限制搜索引擎收录和抓取页面，如有些页面不希望百度收录就可以在这里定义等。【支持PC+手机】
点击生成robots文件后会跳转到“站长工具”平台，按照平台上的提示设置你想让这个root做的内容；
限制目录添加：选择需要添加到限制目录中的页面链接，去掉链接头部的域名、尾部的后缀，复制中间的文件目录部分，添加到限制目录中
例如。页面链接为：http://chen0000.wz.dlszywz.net.cn/chen0000/products/11264817_0_0_1.html，文件目录就是/chen0000/products/。
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 sumchina520@foxmail.com 举报，一经查实，本站将立刻删除。
