请选择 进入手机版 | 继续访问电脑版
查看: 3636|回复: 12

[站长互助] 【申请发言权】教你应对百度蜘蛛的大流量抓取

[复制链接]
发表于 2016-9-12 16:26:41 | 显示全部楼层 |阅读模式
【申请发言权】教你应对百度蜘蛛的大流量抓取

上周五,遇到百度蜘蛛的CC了,当天抓取达到60万+,给服务器造成不小的压力,很紧张,经过搜索百度官方文档,找到了管理员的解决方案:
http://bbs.zhanzhang.baidu.com/thread-15025-1-1.html
这种情况使用502就可以.


so,写代码处理当蜘蛛访问量超大时,可以开启减小压力,php代码如下:
  1. $disable_baidu_spider = 0;//设置为1封禁, 设置0解封允许访问
  2. function isSpider(){
  3.     $ua = strtolower($_SERVER['HTTP_USER_AGENT']);
  4.     if(!empty($ua)){
  5.         $spiderAgentArr = array(
  6.             "Baiduspider",
  7.         );
  8.         foreach($spiderAgentArr as $val){
  9.             $spiderAgent = strtolower($val);
  10.             if(strpos($ua, $spiderAgent) !== false){
  11.                 return true;
  12.             }
  13.         }
  14.         return false;
  15.     } else {
  16.         return false;
  17.     }
  18. }

  19. if($disable_baidu_spider && isSpider()){
  20.     header('HTTP/1.1 502 Bad Gateway');
  21.         exit;
  22. }
复制代码


放到页面开头部分,服务器压力瞬间下降.
今天是程序员节,响应管理员号召http://bbs.zhanzhang.baidu.com/thread-123997-1-1.html
社区id10076 前来报到http://bbs.zhanzhang.baidu.com/?10076
发表于 2016-9-12 16:30:42 | 显示全部楼层
高手 分享的很在理
回复 支持 反对

使用道具 举报

发表于 2016-9-12 18:59:51 | 显示全部楼层
这都高端啊
回复 支持 反对

使用道具 举报

发表于 2016-9-13 09:56:02 | 显示全部楼层
看不懂,好高端的样子
回复 支持 反对

使用道具 举报

发表于 2016-9-13 10:03:14 | 显示全部楼层
这么厉害啊?
回复 支持 反对

使用道具 举报

发表于 2016-9-13 10:05:43 | 显示全部楼层
这么厉害啊
回复 支持 反对

使用道具 举报

 楼主| 发表于 2016-9-18 16:36:31 | 显示全部楼层
顶一下让版主看到
回复 支持 反对

使用道具 举报

发表于 2016-9-18 16:39:54 | 显示全部楼层
感谢您对百度站长社区的支持,您的发言权申请已经审核通过,请耐心等待管理员开通
回复 支持 反对

使用道具 举报

发表于 2019-2-28 11:43:35 | 显示全部楼层
看不懂,好高端的样子

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
回复 支持 反对

使用道具 举报

发表于 2019-3-29 13:37:39 | 显示全部楼层
这么厉害啊!
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

手机版|Archiver|Baidu Inc.

GMT+8, 2020-8-6 14:46 , Processed in 0.311753 second(s), 16 queries .

Powered by Discuz! X3.2

© 2001-2011 Comsenz Inc.

返回顶部