请选择 进入手机版 | 继续访问电脑版

在线等,蜘蛛抓取频次过高,服务器瘫痪怎么办

  [复制链接]
发表于 2017-7-21 10:39:50 | 显示全部楼层
你可以现在蜘蛛三 如果是百度的多你就只能等待了
回复

使用道具 举报

发表于 2017-7-21 10:52:35 | 显示全部楼层
控制啊,站长工具
回复

使用道具 举报

发表于 2017-7-21 13:44:56 | 显示全部楼层
50W次就能让你的服务器瘫痪? 这种服务器还是扔了吧2333
回复

使用道具 举报

发表于 2017-7-21 15:16:20 | 显示全部楼层
本帖最后由 临江踏莎 于 2017-7-21 15:21 编辑

除了抓取压力调整外,分析日志,看下百度抓取的都是那些,是不是有必要抓取,没必要刻意robots屏蔽
回复

使用道具 举报

发表于 2017-7-21 15:19:54 | 显示全部楼层
站长工具里有降低抓取频率的。。。可以手动设置上线
回复

使用道具 举报

发表于 2017-7-21 15:20:21 | 显示全部楼层
66666666666666666666666666
回复

使用道具 举报

发表于 2017-7-21 15:30:26 | 显示全部楼层
分给我点
回复

使用道具 举报

发表于 2017-7-21 15:54:39 | 显示全部楼层
我只想和蜘蛛说 ,有种来我的站
回复

使用道具 举报

发表于 2017-7-21 16:03:32 | 显示全部楼层
我靠,新站蜘蛛还抓的那么频繁
回复

使用道具 举报

发表于 2017-7-21 17:49:00 | 显示全部楼层
调整一下抓取上线就可以了啊
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

手机版|Archiver|Baidu Inc.

GMT+8, 2021-12-1 14:43 , Processed in 0.227365 second(s), 13 queries .

Powered by Discuz! X3.2

© 2001-2011 Comsenz Inc.

返回顶部