新闻资讯

精准传达 有效沟通

精准传达 有效沟通

发现robots.txt文件存在的限制指令后怎么办?

日期: 2018/02/13点击:1779

        当我们有时候site网址查看网站快照,可能会查看到百度结果会显示“由于该网站的robots.txt文件存在限制指令,系统无法提供该页面的内容描述”,我们可能会觉得奇怪,怎么会出现这种问题呢?难道是搜索引擎的蜘蛛出问题了吗?当然不是的,出现这种情况,大多数时间是由于我们网站根目录下robots.txt的文件限制了网站的快照,搜索引擎蜘蛛为了遵循网站的robots.txt约定,没有将除title的其他内容展示出来。

       那么发现了这个问题我们应该怎么办呢?首先,找到根目录下的robots.txt,用记事本打开,将仔细查看里面的disallow语句,找到disallow:/,对这个就是限制了蜘蛛抓取整个网站目录的指令,把这行去掉,保存退出。然后我们要到百度站长工具里面,重新提交robots文件,目的是为了告诉搜索引擎,我的robots文件已经做了修改,目录限制抓取已经解除。这样,等下次快照更新,你的网站可能就会正常了,当然,有时候百度更新是很慢的,这时候你也不要着急,可能要过一段时间才能正常收录并抓取,只要耐心等待即可。

十六年 建站经验

多一份参考,总有益处

联系我们,免费获得专属《策划方案》及报价

咨询相关问题或预约面谈,可以通过以下方式与我们联系

业务热线:13990018009 / 售后服务:13990016280