如何限制百度蜘蛛抓取频率和时间段呢？

ieasys · 发表于 2012-9-24 22:27:34

公司的网站每天有30多W的流量，按常理说应该高兴才对，但现在问题出来了，网站经常打不开，崩溃了！
技术人员分析后，认为百度蜘蛛爬寻频率太高，且集中在访问高峰期，建议限制一下蜘蛛的爬取频率和时间段，不过他们没操作过，不是很了解，悲催的就落到我这个seo身上了，请问有没有关于这方面的介绍呢？非常感谢！！

另外，看到一个帖子http://bbs.zhanzhang.baidu.com/thread-5496-1-1.html 说百度不能识别相关的Visit-time、Request-rate等robots协议，也就是说不能进行限制蜘蛛的爬取频率和时间段，请问是这样吗？？

还请官方或者有过此方面操作的朋友指点一下，非常感谢！！！

qq343523511 · 发表于 2012-9-25 10:04:58

百度站长工具里不是有个限制蜘蛛抓取次数的工具吗？

daxingtianxia · 发表于 2012-9-25 15:26:08

在那呢,给我介绍一下吧.

白狐主席 · 发表于 2012-9-25 16:33:57

我的妈呀，把没i有排名和流量的小SE蜘蛛屏蔽了就行了。比如有道等什么的

lvxianlei2010 · 发表于 2012-9-25 17:16:47

zhanzhang。baidu。com/site/index进去反馈

daxingtianxia · 发表于 2012-9-26 17:06:42

lvxianlei2010 发表于 2012-9-25 17:16
zhanzhang。baidu。com/site/index进去反馈

这个工具只是测试网站在被白度蜘蛛抓取的时候的难易成度的.

daxingtianxia · 发表于 2012-9-27 16:44:46

daxingtianxia 发表于 2012-9-26 17:06
这个工具只是测试网站在被白度蜘蛛抓取的时候的难易成度的.

我做的是个企业站,目前这项功能,一个小小的企业站设计不到.现在没有用.

[SEO] 如何限制百度蜘蛛抓取频率和时间段呢？

评分

点评

点评