【调研活动】百度spider抓取质量调研

远行吧少年

1. 请填写您的站点域名或者网站名称？（5588.tv）      
2、百度爬虫是否对您的站点，发起超过预期压力（影响网站正常服务）的抓取行为？   （ D  ）
A）有，1~2次
B）有，3~10次
C）有，10次以上
D）没有发生过
3、如果发起过超预期压力的抓取，那么发生频率如何？  （ E：暂未出现过预警  ）
A）每天发生
B）每周发生
C）每月发生
D）每年发生
E）其他请注明

4、每次抓取压力过大时，具体有多大？  （  D：未出现过预警，但最高时天级抓取压力为12万，现在是3万—4万 ）
A）1~10次/秒
B）10~100次/秒
C）大于100次/s
D）其他请注明

5、爬虫抓取时间点与站点内容更新时间点关系？ （ A  ）
A）大部份抓取发生在页面更新后1小时内
B）大部分抓取发生在页面更新后1天内
C）大部分抓取发生在页面更新后1周内
D）页面已经很久不更新了，爬虫仍然在抓取
E）其他请注明

6、站点抓取失败率（抓取无效或已经过期的链接占总抓取链接数的比例）如何？ （ C  ）
A）抓取的链接有50%以上都是失败的
B）抓取的链接有10%~50%都是失败的
C）抓取的链接有10%以下都是失败的

7、遇到抓取失败的情况，服务器HTTP错误状态码比例如何？（404居多，有时死链接页面也会有返回200）
8、对于抓取异常行为，如不反馈是否能自行修正？需要多长时间？ （ A ）
A)  能，一周内
B)  能，一月内
C)  能，一月以上
D)  不能修复

9、如反馈则是否能修正？响应修正周期一般是多久？  （  B ）
A)  能，一周内
B)  能，一月内
C)  能，一月以上
D)  没有响应

10、是否存在抓取robots禁止页面的情况？ （ C  ）
A）存在，robots封禁无效
B）存在，robots封禁策略生效比例50%以上
C）不存在，robots封禁策略正确生效
D）其他请注明

11、您的网站对爬虫有什么样期望？您对爬虫的其他意见？希望百度爬虫能够更好的识别排版混乱，影响用户体验的页面。对于改版后新url的更新能反应快一点。

小猪淋雨

终于可以发帖了 先占座

zhongbm321

1 hanzigong.net
2 d
3 e 现在都不来抓了
4 d
5 e
6 b
7 404
8 d
9 d
10 a
11 爬虫不来爬时应该给我们个提醒，不要用表来给我们展示,站长平台反馈中心反馈的问题希望可以给个答复，不要总沉莫，或都给个很模糊的答案，谢谢！

小猪淋雨

qdcyh.com   晚上再来答题

dutsxw

1. 请填写您的站点域名或者网站名称？（sheng1dian.com ）      
2、D
3、E
4、E
5、A
6、C
7、遇到抓取失败的情况，服务器HTTP错误状态码比例如何？
      主要是404，占比70%以上
8、A
9、
10、A
11、您的网站对爬虫有什么样期望？您对爬虫的其他意见？
     a,希望对提交的死链响应速度能快一点，现在提交完2个月，爬虫还在抓取；
     b,希望能够更加快速的提交原创内容，保护原创。
     c,希望被爬了以后的原创内容能得到释放，而不是没收了，再也不见，好像这与爬虫没关系额，呵呵
      

1. 请填写您的站点域名或者网站名称？（最好填写站点域名） 湖南电影网
hnyy123.com     

2、百度爬虫是否对您的站点，发起超过预期压力（影响网站正常服务）的抓取行为？   （  D ）

A）有，1~2次

B）有，3~10次

C）有，10次以上

D）没有发生过

3、如果发起过超预期压力的抓取，那么发生频率如何？  （  C ）

A）每天发生

B）每周发生

C）每月发生

D）每年发生

E）其他请注明

4、每次抓取压力过大时，具体有多大？  （A   ）

A）1~10次/秒

B）10~100次/秒

C）大于100次/s

D）其他请注明

5、爬虫抓取时间点与站点内容更新时间点关系？ （ B  ）

A）大部份抓取发生在页面更新后1小时内

B）大部分抓取发生在页面更新后1天内

C）大部分抓取发生在页面更新后1周内

D）页面已经很久不更新了，爬虫仍然在抓取

E）其他请注明

6、站点抓取失败率（抓取无效或已经过期的链接占总抓取链接数的比例）如何？ （ C  ）

A）抓取的链接有50%以上都是失败的

B）抓取的链接有10%~50%都是失败的

C）抓取的链接有10%以下都是失败的

7、遇到抓取失败的情况，服务器HTTP错误状态码比例如何？（404、500等）

8、对于抓取异常行为，如不反馈是否能自行修正？需要多长时间？ （ A ）

A)  能，一周内

B)  能，一月内

C)  能，一月以上

D)  不能修复

9、如反馈则是否能修正？响应修正周期一般是多久？  （A   ）

A)  能，一周内

B)  能，一月内

C)  能，一月以上

D)  没有响应

10、是否存在抓取robots禁止页面的情况？ （  C ）

A）存在，robots封禁无效

B）存在，robots封禁策略生效比例50%以上

C）不存在，robots封禁策略正确生效

D）其他请注明

11、您的网站对爬虫有什么样期望？您对爬虫的其他意见？

我希望百度爬虫能够正确对待新站，我的这个站已经快3个月了来的蜘蛛基本上都是降权的蜘蛛，希望百度蜘蛛能够一视同仁，给小站长一个机会，我的这个网站我可以保证内容都是有质量的，没有广告，这些不雅内容！

爬虫对小网站爬取频率太低，这样会让我们发布的新内容都无法被正常收录和索引！希望百度能够体谅一下我们这些小站长！

张邵君大帅哥

1. 请填写您的站点域名或者网站名称？（sihaidiaoyu.com ; wafen.cn ）      
2、百度爬虫是否对您的站点，发起超过预期压力（影响网站正常服务）的抓取行为？   （ D  ）
A）有，1~2次
B）有，3~10次
C）有，10次以上
D）没有发生过
3、如果发起过超预期压力的抓取，那么发生频率如何？  （   ）
A）每天发生
B）每周发生
C）每月发生
D）每年发生
E）其他请注明

4、每次抓取压力过大时，具体有多大？  （   ）
A）1~10次/秒
B）10~100次/秒
C）大于100次/s
D）其他请注明

5、爬虫抓取时间点与站点内容更新时间点关系？ （ A  ）
A）大部份抓取发生在页面更新后1小时内
B）大部分抓取发生在页面更新后1天内
C）大部分抓取发生在页面更新后1周内
D）页面已经很久不更新了，爬虫仍然在抓取
E）其他请注明

6、站点抓取失败率（抓取无效或已经过期的链接占总抓取链接数的比例）如何？ （ C  ）
A）抓取的链接有50%以上都是失败的
B）抓取的链接有10%~50%都是失败的
C）抓取的链接有10%以下都是失败的

7、遇到抓取失败的情况，服务器HTTP错误状态码比例如何？（404、500等）
8、对于抓取异常行为，如不反馈是否能自行修正？需要多长时间？ （ A ）
A)  能，一周内
B)  能，一月内
C)  能，一月以上
D)  不能修复

9、如反馈则是否能修正？响应修正周期一般是多久？  （   ）
A)  能，一周内
B)  能，一月内
C)  能，一月以上
D)  没有响应

10、是否存在抓取robots禁止页面的情况？ （ A  ）
A）存在，robots封禁无效
B）存在，robots封禁策略生效比例50%以上
C）不存在，robots封禁策略正确生效
D）其他请注明

11、您的网站对爬虫有什么样期望？您对爬虫的其他意见？
希望爬虫 对更新后的 老信息，及时快照抓取。 因为网站可能存在修改 title 栏目名称等情况，这种行为我觉得 爬虫应该及时更新站内信息，而不是降权。更改 title 并不意味着质量就降低，或者网站不稳定。

玉香园护士网

护士之家 hushi66.com

1、A
2、B
3、没注意
4、A
5、A
6、C
7、404
8、A
9、A
10、C
11、时代在发展，技术资讯都在变更，对于抓取频率以及权重在一定时间内分配应该给与新页面，更加符合当下实际情况。

766037191

1.低价铺dijiapu.com
2.D
3.E有可能发生，没注意到
4.A
5.A
6.C
7.一般都是404
8.D
9.D
10.C
11.网站异常提醒工具，异常类型能增加一些，比如为何无缘无故搜索不到品牌词。

四海钓鱼网

张邵君大帅哥 发表于 2013-11-5 16:12
1. 请填写您的站点域名或者网站名称？（sihaidiaoyu.com ; wafen.cn ）      
2、百度爬虫是否对您的站点 ...

哥们。， 你整错了吧。