请选择 进入手机版 | 继续访问电脑版

[平台工具] 网页已提交死链后,是否需要设置robots?

[复制链接]
发表于 2016-6-28 09:43:58 | 显示全部楼层
要么robots写禁止规则,要么直接删掉死链,二者选一即可!!
回复 支持 反对

使用道具 举报

发表于 2016-6-28 09:58:23 | 显示全部楼层
robot本来就是可有可无的东西,抓完达到目的就行了
回复 支持 反对

使用道具 举报

发表于 2016-8-16 15:22:35 | 显示全部楼层
可以在robots里面提交死链来屏蔽一下。
回复 支持 反对

使用道具 举报

发表于 2016-8-16 15:43:25 | 显示全部楼层
事实证明,提交robts,提交死链,设置404,三项并举也未必能解决得了问题。
http://bbs.zhanzhang.baidu.com/thread-119426-1-1.html
看这个就知道有多惨了。
回复 支持 反对

使用道具 举报

发表于 2016-8-17 09:45:22 | 显示全部楼层
建议写一下。
回复 支持 反对

使用道具 举报

发表于 2016-8-17 15:21:06 | 显示全部楼层
学习学习学习
回复 支持 反对

使用道具 举报

发表于 2016-8-31 16:15:26 | 显示全部楼层
学习学习学习
回复 支持 反对

使用道具 举报

发表于 2016-10-17 19:59:43 | 显示全部楼层
死链提交工具处理还是很快的
回复 支持 反对

使用道具 举报

发表于 2016-11-3 14:37:14 | 显示全部楼层
当然需要了,否则他还会继续抓取的!
回复 支持 反对

使用道具 举报

发表于 2016-11-3 15:02:16 | 显示全部楼层
总体上感觉提交死链接让百度处理比较慢,提交到robots里会稍微快点吧。
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

手机版|Archiver|Baidu Inc.

GMT+8, 2021-2-25 23:56 , Processed in 0.213077 second(s), 13 queries .

Powered by Discuz! X3.2

© 2001-2011 Comsenz Inc.

返回顶部