自贡市俊捷网络科技有限责任公司迅速让您的网站排名靠前、迅速帮企业通过网络赚钱!
0813-2305563

助企业傲视群雄,自贡网站建设专家!

联系我们

您现在的位置:首页 > 新闻资讯 > 网站优化

发现robots.txt文件存在的限制指令后怎么办?


        当我们有时候site网址查看网站快照,可能会查看到百度结果会显示“由于该网站的robots.txt文件存在限制指令,系统无法提供该页面的内容描述”,我们可能会觉得奇怪,怎么会出现这种问题呢?难道是搜索引擎的蜘蛛出问题了吗?当然不是的,出现这种情况,大多数时间是由于我们网站根目录下robots.txt的文件限制了网站的快照,搜索引擎蜘蛛为了遵循网站的robots.txt约定,没有将除title的其他内容展示出来。

       那么发现了这个问题我们应该怎么办呢?首先,找到根目录下的robots.txt,用记事本打开,将仔细查看里面的disallow语句,找到disallow:/,对这个就是限制了蜘蛛抓取整个网站目录的指令,把这行去掉,保存退出。然后我们要到百度站长工具里面,重新提交robots文件,目的是为了告诉搜索引擎,我的robots文件已经做了修改,目录限制抓取已经解除。这样,等下次快照更新,你的网站可能就会正常了,当然,有时候百度更新是很慢的,这时候你也不要着急,可能要过一段时间才能正常收录并抓取,只要耐心等待即可。

Powered by junjie俊捷网络