请选择 进入手机版 | 继续访问电脑版
查看: 874|回复: 8

请问robots开始禁止了收录修改后抓取失败?要等搜索更吗

[复制链接]
发表于 2017-3-25 10:49:03 | 显示全部楼层 |阅读模式
我有个站之前有个总栏目被禁止,除了首页其他页面全部没收录。我接手后发现这个问题,我改掉了更新了,去做抓取判断还是抓取失败,是不是需要生效时间,。时间是多久。
附件是修改后的robots文件和抓取失败的图偏,在robots这个位置下面有一个测试,是没有阻止的,但是抓取判断失败,显示robots禁止。
希望大家帮帮忙 ,谢谢。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
 楼主| 发表于 2017-3-25 12:51:46 | 显示全部楼层
大哥们,给点提示啊。。
回复 支持 反对

使用道具 举报

发表于 2017-3-25 16:14:07 | 显示全部楼层
回复 支持 反对

使用道具 举报

发表于 2017-3-25 16:16:53 | 显示全部楼层
回复 支持 反对

使用道具 举报

 楼主| 发表于 2017-3-25 17:21:41 | 显示全部楼层
回复 支持 反对

使用道具 举报

发表于 2017-3-25 17:37:36 | 显示全部楼层
有个站之前有个总栏目被禁止
回复 支持 反对

使用道具 举报

发表于 2017-3-25 18:24:10 | 显示全部楼层
这个问题可以去访问站长工具找到 网页抓取栏目然后在找到Robots 然后进行更新  如果2天还是这样  可以提交反馈!
回复 支持 反对

使用道具 举报

发表于 2017-3-25 22:19:41 | 显示全部楼层
这个问题可以去访问站长工具找到 网页抓取栏目然后在找到Robots 然后进行更新  如果2天还是这样  可以提交反馈!
回复 支持 反对

使用道具 举报

发表于 2017-3-25 23:42:31 | 显示全部楼层
点开看看啥情况。
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

手机版|Archiver|Baidu Inc.

GMT+8, 2020-9-30 16:20 , Processed in 0.247955 second(s), 16 queries .

Powered by Discuz! X3.2

© 2001-2011 Comsenz Inc.

返回顶部