请选择 进入手机版 | 继续访问电脑版
查看: 12485|回复: 12

[建库收录] 百度对死链的抓取,对正常文章抓取的影响会有多大

[复制链接]
发表于 2016-10-18 16:02:38 | 显示全部楼层 |阅读模式
问:百度对死链的抓取,对正常文章抓取的影响会有多大。
答:这个没有统一的标准,如果你没有设置robots也没有向百度提交,死链量还特别巨大的时候,有可能会占用你网站大量抓取配额,导致正常内容无法抓取。如果仅仅是spider为了验证死链规则抓一部分,那么对正常内容不会造成影响。
发表于 2016-10-18 16:20:38 | 显示全部楼层
顶        
回复 支持 反对

使用道具 举报

发表于 2016-10-19 12:10:49 | 显示全部楼层
说的蛮好的
回复 支持 反对

使用道具 举报

发表于 2016-10-19 13:17:11 | 显示全部楼层
影响蜘蛛抓取网站本身的内容
回复 支持 反对

使用道具 举报

发表于 2016-10-19 14:49:31 | 显示全部楼层
死链多而没有及时处理的话  肯定会伤害蜘蛛的心情
回复 支持 反对

使用道具 举报

发表于 2016-11-3 14:05:09 | 显示全部楼层
如果死链过多,还是推荐设置robots 。否则它还是会一如既往的抓取了!
回复 支持 反对

使用道具 举报

发表于 2016-11-9 11:03:57 | 显示全部楼层
如果Robots跟死链提交双管齐下呢?
回复 支持 反对

使用道具 举报

发表于 2016-11-9 11:24:03 | 显示全部楼层
robots设置应该效果好些。
回复 支持 反对

使用道具 举报

发表于 2016-11-9 15:34:28 | 显示全部楼层

、                  
回复 支持 反对

使用道具 举报

发表于 2016-11-11 09:43:04 | 显示全部楼层
问题是百度总是抓从来没见过的链接!其他搜索引擎从来就不会出现这样的情况!
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

手机版|Archiver|Baidu Inc.

GMT+8, 2019-5-26 23:37 , Processed in 0.285946 second(s), 6 queries .

Powered by Discuz! X3.2

© 2001-2011 Comsenz Inc.

返回顶部