请选择 进入手机版 | 继续访问电脑版
楼主: sitemapbbs

【调研活动】百度spider抓取质量调研

  [复制链接]
发表于 2013-11-18 11:30:45 | 显示全部楼层
1、域名:壹码视界  没有权限写不了链接
2、百度爬虫是否对您的站点,发起超过预期压力(影响网站正常服务)的抓取行为?   ( A  )
3、如果发起过超预期压力的抓取,那么发生频率如何?  ( E 偶尔就一次,然后一年内没发生过超预期压力的抓取  )

4、每次抓取压力过大时,具体有多大?  (  A )
5、爬虫抓取时间点与站点内容更新时间点关系? ( B  )
6、站点抓取失败率(抓取无效或已经过期的链接占总抓取链接数的比例)如何? (  C )
7、遇到抓取失败的情况,服务器HTTP错误状态码比例如何?(404)
8、对于抓取异常行为,如不反馈是否能自行修正?需要多长时间? (  B)
9、如反馈则是否能修正?响应修正周期一般是多久?  (   B)
10、是否存在抓取robots禁止页面的情况? (A   )
11、您的网站对爬虫有什么样期望?您对爬虫的其他意见?
现在我的很多原有页面,没有更新爬虫都不抓取了,原来一天抓个100多次,现在只有20次左右。
回复 支持 反对

使用道具 举报

发表于 2013-11-18 21:46:26 | 显示全部楼层
1. 请填写您的站点域名或者网站名称?(happy-vision8.cn happy-vision8.com)      
2、百度爬虫是否对您的站点,发起超过预期压力(影响网站正常服务)的抓取行为?   ( A)
A)有,1~2次
B)有,3~10次
C)有,10次以上
D)没有发生过
3、如果发起过超预期压力的抓取,那么发生频率如何?  (B )
A)每天发生
B)每周发生
C)每月发生
D)每年发生
E)其他请注明

4、每次抓取压力过大时,具体有多大?  (  A )
A)1~10次/秒
B)10~100次/秒
C)大于100次/s
D)其他请注明

5、爬虫抓取时间点与站点内容更新时间点关系? ( A)
A)大部份抓取发生在页面更新后1小时内
B)大部分抓取发生在页面更新后1天内
C)大部分抓取发生在页面更新后1周内
D)页面已经很久不更新了,爬虫仍然在抓取
E)其他请注明

6、站点抓取失败率(抓取无效或已经过期的链接占总抓取链接数的比例)如何? (C  )
A)抓取的链接有50%以上都是失败的
B)抓取的链接有10%~50%都是失败的
C)抓取的链接有10%以下都是失败的

7、遇到抓取失败的情况,服务器HTTP错误状态码比例如何?(404)
8、对于抓取异常行为,如不反馈是否能自行修正?需要多长时间? ( B )
A)  能,一周内
B)  能,一月内
C)  能,一月以上
D)  不能修复

9、如反馈则是否能修正?响应修正周期一般是多久?  (  B )
A)  能,一周内
B)  能,一月内
C)  能,一月以上
D)  没有响应

10、是否存在抓取robots禁止页面的情况? (  A )
A)存在,robots封禁无效
B)存在,robots封禁策略生效比例50%以上
C)不存在,robots封禁策略正确生效
D)其他请注明

11、您的网站对爬虫有什么样期望?您对爬虫的其他意见?
继续加油吧,我们这些苦逼的小站长。

回复 支持 反对

使用道具 举报

发表于 2013-11-19 17:14:42 | 显示全部楼层
1. Mov8影吧   mov8.net

2、D

3、没有发生过

4、未知

5、B

6、C

7、404

8、A

9、A

10、D

11、您的网站对爬虫有什么样期望?您对爬虫的其他意见?

暂无。
回复 支持 反对

使用道具 举报

发表于 2013-11-20 16:18:25 | 显示全部楼层
跪求给个发言权限,咱会一如既往支持百度
回复 支持 反对

使用道具 举报

发表于 2013-11-21 12:53:14 | 显示全部楼层

为什么网站关键词排名一夜之间降到百名以后

本帖最后由 嘟嘟妹的嘟嘟妈 于 2013-11-21 12:55 编辑

。。。。疑惑,不解啊无疑是一种打击,好端端的毫无征兆的就在一夜之间网站的关键词被降到了百名以外,丝毫查不到它的踪影。为什么呢?
回复 支持 反对

使用道具 举报

发表于 2013-11-21 15:43:38 | 显示全部楼层
不知道怎么回复这个问卷
回复 支持 反对

使用道具 举报

发表于 2013-11-21 16:00:39 | 显示全部楼层
我都没有发言权啊。
回复 支持 反对

使用道具 举报

发表于 2013-11-21 16:11:12 | 显示全部楼层
真给百度搞无语了,刚收录我网站新闻,过一会又删了,每天重复如此。我天天写原创,为什么这么对我!!!!
回复 支持 反对

使用道具 举报

发表于 2013-11-21 16:14:51 | 显示全部楼层
我能在这里发言?
回复 支持 反对

使用道具 举报

发表于 2013-11-21 16:20:18 | 显示全部楼层
1. 请填写您的站点域名或者网站名称?(mianbao5.com 面包网)      


2、百度爬虫是否对您的站点,发起超过预期压力(影响网站正常服务)的抓取行为?   ( D  )A)有,1~2次B)有,3~10次C)有,10次以上D)没有发生过3、如果发起过超预期压力的抓取,那么发生频率如何?  ( E - 不懂什么意思  )A)每天发生B)每周发生C)每月发生D)每年发生E)其他请注明
4、每次抓取压力过大时,具体有多大?  ( D - 由于我这个是新站,还没发生过  )A)1~10次/秒B)10~100次/秒C)大于100次/sD)其他请注明
5、爬虫抓取时间点与站点内容更新时间点关系? ( E - 网站启动5天了,就收录个内页,说不定还会被删除  )A)大部份抓取发生在页面更新后1小时内B)大部分抓取发生在页面更新后1天内C)大部分抓取发生在页面更新后1周内D)页面已经很久不更新了,爬虫仍然在抓取E)其他请注明
6、站点抓取失败率(抓取无效或已经过期的链接占总抓取链接数的比例)如何? ( 还没有收录更多内容A)抓取的链接有50%以上都是失败的B)抓取的链接有10%~50%都是失败的C)抓取的链接有10%以下都是失败的
7、遇到抓取失败的情况,服务器HTTP错误状态码比例如何?(404、500等)8、对于抓取异常行为,如不反馈是否能自行修正?需要多长时间? ( A
A)  能,一周内B)  能,一月内C)  能,一月以上D)  不能修复
9、如反馈则是否能修正?响应修正周期一般是多久?  ( B  )A)  能,一周内B)  能,一月内C)  能,一月以上D)  没有响应
10、是否存在抓取robots禁止页面的情况? ( B  )A)存在,robots封禁无效B)存在,robots封禁策略生效比例50%以上C)不存在,robots封禁策略正确生效D)其他请注明
11、您的网站对爬虫有什么样期望?您对爬虫的其他意见?我只 希望我的网站能kuaid

回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

手机版|Archiver|Baidu Inc.

GMT+8, 2020-9-27 04:57 , Processed in 0.307865 second(s), 16 queries .

Powered by Discuz! X3.2

© 2001-2011 Comsenz Inc.

返回顶部