请选择 进入手机版 | 继续访问电脑版
查看: 5786|回复: 6

[SEO] 如何限制百度蜘蛛抓取频率和时间段呢?

[复制链接]
发表于 2012-9-24 22:27:34 | 显示全部楼层 |阅读模式
公司的网站每天有30多W的流量,按常理说应该高兴才对,但现在问题出来了,网站经常打不开,崩溃了!
技术人员分析后,认为百度蜘蛛爬寻频率太高,且集中在访问高峰期,建议限制一下蜘蛛的爬取频率和时间段,不过他们没操作过,不是很了解,悲催的就落到我这个seo身上了,请问有没有关于这方面的介绍呢?非常感谢!!


另外,看到一个帖子http://bbs.zhanzhang.baidu.com/thread-5496-1-1.html 说百度不能识别相关的Visit-time、Request-rate等robots协议,也就是说不能进行限制蜘蛛的爬取频率和时间段,请问是这样吗??


还请官方或者有过此方面操作的朋友指点一下,非常感谢!!!

评分

参与人数 1金币 +1 收起 理由
movefor + 1 冒险岛SF w ww.mgxsfm.com bbs.mgxsfm.com.

查看全部评分

发表于 2012-9-25 10:04:58 | 显示全部楼层
百度站长工具里不是有个限制蜘蛛抓取次数的工具吗?
回复 支持 反对

使用道具 举报

发表于 2012-9-25 15:26:08 | 显示全部楼层
在那呢,给我介绍一下吧.
回复 支持 反对

使用道具 举报

发表于 2012-9-25 16:33:57 | 显示全部楼层
我的妈呀,把没i有排名和流量的小SE蜘蛛屏蔽了就行了。比如有道等什么的
回复 支持 反对

使用道具 举报

发表于 2012-9-25 17:16:47 | 显示全部楼层
未命名.jpg

zhanzhang。baidu。com/site/index进去反馈
未命名.jpg

点评

这个工具只是测试网站在被白度蜘蛛抓取的时候的难易成度的.  详情 回复 发表于 2012-9-26 17:06
回复 支持 反对

使用道具 举报

发表于 2012-9-26 17:06:42 | 显示全部楼层
lvxianlei2010 发表于 2012-9-25 17:16
zhanzhang。baidu。com/site/index进去反馈

这个工具只是测试网站在被白度蜘蛛抓取的时候的难易成度的.

点评

我做的是个企业站,目前这项功能,一个小小的企业站设计不到.现在没有用.  详情 回复 发表于 2012-9-27 16:44
话说认真看了没 限制百度对网站………………这个项目你用过没?  发表于 2012-9-27 08:34
回复 支持 反对

使用道具 举报

发表于 2012-9-27 16:44:46 | 显示全部楼层
daxingtianxia 发表于 2012-9-26 17:06
这个工具只是测试网站在被白度蜘蛛抓取的时候的难易成度的.

我做的是个企业站,目前这项功能,一个小小的企业站设计不到.现在没有用.
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

手机版|Archiver|Baidu Inc.

GMT+8, 2020-7-10 09:15 , Processed in 0.327160 second(s), 20 queries .

Powered by Discuz! X3.2

© 2001-2011 Comsenz Inc.

返回顶部