如何设置Robots协议

quanshiyinian

如何设置Robots协议

什么是Robots协议？

Robots协议也称为爬虫协议、机器人协议，网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。

Robots协议一般是一个文本文件，命名为robots.txt并且存放在网站根目录。

Robots协议的作用：

1、告诉搜索引擎网站上面的页面哪些可以抓取，不该抓取的就不要抓取。

2、告诉搜索引擎可以重点或者首先抓取哪个页面，配合网站地图效果更佳。

如何设置Robots协议？

工具：http://tool.chinaz.com/robots/

Robots协议一般命名为robots.txt，存放在网站根目录。

备注：如果网站根目录没有robots.txt，那么说明该网站允许所有搜索引擎抓取。

道勤主机提供365天*24小时全年全天无休、实时在线、零等待的售后技术支持。竭力为您免费处理您在使用道勤主机过程中所遇到的一切问题! 如果您是道勤主机用户，那么您可以通过QQ【792472177】、售后QQ【59133755】、旺旺【诠释意念】、微信：q792472177免费电话、后台提交工单这些方式联系道勤主机客服！ 如果您不是我们的客户也没问题，点击页面最右边的企业QQ在线咨询图标联系我们并购买后，我们为您免费进行无缝搬家服务，让您享受网站零访问延迟的迁移到道勤主机的服务！