请选择 进入手机版 | 继续访问电脑版
查看: 5430|回复: 15

[问答中心] 抓取频次突然下降是怎么回事?

[复制链接]
发表于 2017-8-30 14:42:01 | 显示全部楼层 |阅读模式
如图所示,我的网站抓取频次从本月15号开始就突然下降,从原来的每天有上千个抓取频次降到了现在的每天300~400个抓取频次,求解各位大神这是什么原因造成的

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
 楼主| 发表于 2017-8-30 15:07:27 | 显示全部楼层
没有大神来回答下吗?求解啊
回复 支持 反对

使用道具 举报

发表于 2017-8-30 15:26:27 | 显示全部楼层
都一样下降了
回复 支持 反对

使用道具 举报

发表于 2017-8-30 15:36:26 | 显示全部楼层
1、网站更新频率降低
2、网站服务器不稳定
3、网站屏蔽了爬虫
4、百度调整
尝试多做些sitemap和推送
回复 支持 反对

使用道具 举报

 楼主| 发表于 2017-9-1 15:43:35 | 显示全部楼层

你确定是大部分网站的抓取频次都下降了吗?

点评

反正我4个网站抓取都下降了,还看到好几个帖子也说自己抓取下去了  详情 回复 发表于 2017-9-1 16:06
回复 支持 反对

使用道具 举报

发表于 2017-9-1 16:06:54 | 显示全部楼层
那个山峰真美 发表于 2017-9-1 15:43
你确定是大部分网站的抓取频次都下降了吗?

反正我4个网站抓取都下降了,还看到好几个帖子也说自己抓取下去了
回复 支持 反对

使用道具 举报

 楼主| 发表于 2017-9-1 17:21:26 | 显示全部楼层
郑益达1 发表于 2017-8-30 15:36
1、网站更新频率降低
2、网站服务器不稳定
3、网站屏蔽了爬虫

1、网站更新频率基本上没什么变化,就算有,也不会像抓取频次那样差距变得那么大
2、网站服务器用的是阿里云,带宽10M的,问过他们的技术说最近没什么故障和变化
3、网站屏蔽蜘蛛得需要经过robots在这边修改吧,我看了下robots文件,没动过
4、百度调整的话不应该只是我一个人受到影响啊
谢谢大佬的意见和建议
回复 支持 反对

使用道具 举报

 楼主| 发表于 2017-9-1 17:21:58 | 显示全部楼层
伤感小灵狐 发表于 2017-9-1 16:06
反正我4个网站抓取都下降了,还看到好几个帖子也说自己抓取下去了

下降幅度大不大?
回复 支持 反对

使用道具 举报

发表于 2017-9-1 18:35:36 | 显示全部楼层
最近我这边也有一些下降  
回复 支持 反对

使用道具 举报

发表于 2017-9-1 20:38:29 | 显示全部楼层
没事,投诉几个快照,试试看
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

手机版|Archiver|Baidu Inc.

GMT+8, 2019-12-7 15:38 , Processed in 0.121967 second(s), 8 queries .

Powered by Discuz! X3.2

© 2001-2011 Comsenz Inc.

返回顶部