请选择 进入手机版 | 继续访问电脑版
查看: 8850|回复: 12

[常见问题汇总] 限制抓取速度的robots协议该如何写?

[复制链接]
发表于 2012-6-20 15:56:10 | 显示全部楼层 |阅读模式
原问题出处:http://bbs.zhanzhang.baidu.com/forum.php?mod=viewthread&tid=5496&page=

hyzhx520提问到:因其站点每天被搜狗和SOSO疯狂抓取,站点一天流量中有5个多G全是蜘蛛,希望通过robots协议进行控制,只允许百度抓取,对其他搜索引擎的抓取间隔控制为一小时,以此来减少虚拟机的压力

站长平台回复:
目前除yahoo外的所有搜索引擎都没有任何限制抓取速度的robots协议,
对Visit-time、Request-rate百度都不支持,所以楼主提的问题暂无法解决
robots的书写,建议可以参考robots工具http://zhanzhang.baidu.com/robots

点评

我汗~ 管理怎么也用着种复制手段啊!最讨厌复制手段了 !你要么去除下格式好不好!  发表于 2012-6-20 18:25
发表于 2012-6-20 18:31:13 | 显示全部楼层
sitemapbbs   很忙....
回复 支持 反对

使用道具 举报

发表于 2012-6-21 20:21:19 | 显示全部楼层
大家谅解下管理员吧!人家也是人!每天百度处理那么多数据,人家渴了也要喝茶……何必对要求那么高呢?
回复 支持 反对

使用道具 举报

发表于 2012-6-21 22:04:25 | 显示全部楼层
呵呵 楼上的好人哇 理解理解
回复 支持 反对

使用道具 举报

发表于 2012-6-22 00:34:28 | 显示全部楼层
啊 我的帖子被管理员回复了 荣幸呀!   谢主隆恩! 百度万岁!

点评

光宗耀祖了?呵呵  发表于 2012-6-29 09:13
回复 支持 反对

使用道具 举报

发表于 2012-8-4 13:50:51 | 显示全部楼层
建议百度学雅虎,  也来个限制速度吧
回复 支持 反对

使用道具 举报

发表于 2012-8-9 17:12:49 | 显示全部楼层
目前除yahoo外的所有搜索引擎都没有任何限制抓取速度的robots协议.雅虎也太强了
回复 支持 反对

使用道具 举报

发表于 2012-8-10 16:38:56 | 显示全部楼层
人总有3急嘛
理解下
回复 支持 反对

使用道具 举报

发表于 2012-8-14 17:50:30 | 显示全部楼层
你的站点真是厉害            
回复 支持 反对

使用道具 举报

发表于 2012-11-1 16:16:40 | 显示全部楼层
发个帖,看看我是什么级别了。哈哈
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

手机版|Archiver|Baidu Inc.

GMT+8, 2020-5-27 11:48 , Processed in 0.237547 second(s), 17 queries .

Powered by Discuz! X3.2

© 2001-2011 Comsenz Inc.

返回顶部