请选择 进入手机版 | 继续访问电脑版
查看: 16619|回复: 17

[结果展现] robots屏蔽对阻止百度抓取死链是否有效

[复制链接]
发表于 2016-10-18 16:00:29 | 显示全部楼层 |阅读模式
问:robots屏蔽对阻止百度抓取死链是否有效
答:当然有效,百度严格遵守robots协议,若发现百度依然抓取,先确认是否为Baiduspider,若确认,可以通过反馈中心进行投诉。
参考链接:《如何识别为百度spider》
发表于 2016-10-18 16:03:05 | 显示全部楼层
robots更新后多久能生效?感觉收录之后更新不是很及时
回复 支持 反对

使用道具 举报

发表于 2016-10-19 06:30:57 | 显示全部楼层
robots大多数情况下应该是遵守的,好像也有例外
回复 支持 反对

使用道具 举报

发表于 2016-10-19 12:12:06 | 显示全部楼层
有的你是设置了robots 但是hai还会是抓去的 凡事都有例外
回复 支持 反对

使用道具 举报

发表于 2016-10-19 13:17:56 | 显示全部楼层
有效果,但是也有例外的
回复 支持 反对

使用道具 举报

发表于 2016-10-21 16:32:27 | 显示全部楼层
robots协议任何搜索引擎都遵守的,但是生效时间好像不是很快,最好主动提交
回复 支持 反对

使用道具 举报

发表于 2016-10-21 17:59:04 | 显示全部楼层
robots好像是不太完善,还有乱抓的现象,而且更新后生效还比较慢,robots明明改过了,而且在站长里提交更新了,还是显示被封禁的状态。周期有点长的。
回复 支持 反对

使用道具 举报

发表于 2016-10-23 12:05:31 | 显示全部楼层
效率依然无法满足大多数人的诉求
回复 支持 1 反对 0

使用道具 举报

发表于 2016-10-23 12:10:14 | 显示全部楼层
貌似屏蔽了,但是还是会抓取,不知是更新速度慢还是咋的
回复 支持 反对

使用道具 举报

发表于 2016-12-7 18:07:24 | 显示全部楼层
抓取是因为有别的链接入口,
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

手机版|Archiver|Baidu Inc.

GMT+8, 2018-5-25 05:15 , Processed in 0.184492 second(s), 11 queries .

Powered by Discuz! X3.2

© 2001-2011 Comsenz Inc.

返回顶部