请选择 进入手机版 | 继续访问电脑版
查看: 7848|回复: 12

robots文件已禁止抓取,为何日志中爬虫还是在抓取呢(求解

[复制链接]
发表于 2015-5-9 10:57:41 | 显示全部楼层 |阅读模式
20金币
robots文件和日志文件请看图、、、很无语,禁止了还在抓,要不要那么爱我???各位大神分析分析。。。管理员大神请别走

附件: 您需要 登录 才可以下载或查看,没有帐号?立即注册

评分

参与人数 1金币 +1 收起 理由
关键四号3 + 1 冒险岛私服 bbs.mgxsfm.com wm.mgxsfm.com.

查看全部评分

发表于 2015-5-9 11:02:09 | 显示全部楼层
本帖最后由 w26203401 于 2015-5-9 16:44 编辑

应该是数据还没同步,之前蜘蛛访问就继续,还可能是蜘蛛访问的是他之前访问过的链接,这次只是习惯性的回复下。补充下 还可能跟你之前发过的外链有关系哦 正好蜘蛛在外部抓到了这些链接 就又把蜘蛛引进网站了
回复

使用道具 举报

发表于 2015-5-9 11:04:41 | 显示全部楼层
爬就爬呗  只是还没反应过来  收录了也没事  当增加收录了
回复

使用道具 举报

发表于 2015-5-9 11:04:47 | 显示全部楼层
百度还没反应过来,请稍等.
这种问题不要较真啦。
回复

使用道具 举报

发表于 2015-5-9 20:21:18 | 显示全部楼层
一周过了吗?
回复

使用道具 举报

发表于 2015-5-11 08:48:27 | 显示全部楼层
感谢邀请,不外乎有这么几种情况:
1.规则已经生效但是需要一定的时间来消化。
2.其他网站链接了您robots.txt文件中设置的禁止收录的网页。官方解答:http://bbs.zhanzhang.baidu.com/thread-14884-1-1.html

另外特别注意一下文件名的大小写因素。
回复

使用道具 举报

发表于 2015-5-11 08:52:18 | 显示全部楼层
楼上正解
回复

使用道具 举报

发表于 2015-5-11 10:48:40 | 显示全部楼层
首先考虑时间差的原因,然后就是外链引导蜘蛛爬去,过一周后你在看看是否抓取
回复

使用道具 举报

发表于 2015-5-18 17:48:22 | 显示全部楼层
这个问题,我也碰到过;
问题是这样,你先看看你百度蜘蛛的IP是否是伪装的;如果确定是百度的IP;
你可以把你的情况你写一个文档,然后在站长平台里面进行反馈!这个是百度在后台处理的问题;
回复

使用道具 举报

发表于 2015-5-18 17:49:45 | 显示全部楼层
应该是 robots文件文件没生效前,那个页面已经被收录了吧
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

手机版|Archiver|Baidu Inc.

GMT+8, 2020-12-3 03:31 , Processed in 0.317990 second(s), 16 queries .

Powered by Discuz! X3.2

© 2001-2011 Comsenz Inc.

返回顶部