请选择 进入手机版 | 继续访问电脑版
楼主: sitemapbbs

【调研活动】百度spider抓取质量调研

   关闭 [复制链接]
发表于 2013-11-5 15:23:03 | 显示全部楼层
本帖最后由 远行吧少年 于 2013-11-5 15:25 编辑

1. 请填写您的站点域名或者网站名称?(5588.tv)      
2、百度爬虫是否对您的站点,发起超过预期压力(影响网站正常服务)的抓取行为?   ( D  )
A)有,1~2次
B)有,3~10次
C)有,10次以上
D)没有发生过
3、如果发起过超预期压力的抓取,那么发生频率如何?  ( E:暂未出现过预警  )
A)每天发生
B)每周发生
C)每月发生
D)每年发生
E)其他请注明

4、每次抓取压力过大时,具体有多大?  (  D:未出现过预警,但最高时天级抓取压力为12万,现在是3万—4万
A)1~10次/秒
B)10~100次/秒
C)大于100次/s
D)其他请注明

5、爬虫抓取时间点与站点内容更新时间点关系? ( A  )
A)大部份抓取发生在页面更新后1小时内
B)大部分抓取发生在页面更新后1天内
C)大部分抓取发生在页面更新后1周内
D)页面已经很久不更新了,爬虫仍然在抓取
E)其他请注明

6、站点抓取失败率(抓取无效或已经过期的链接占总抓取链接数的比例)如何? ( C  )
A)抓取的链接有50%以上都是失败的
B)抓取的链接有10%~50%都是失败的
C)抓取的链接有10%以下都是失败的

7、遇到抓取失败的情况,服务器HTTP错误状态码比例如何?(404居多,有时死链接页面也会有返回200
8、对于抓取异常行为,如不反馈是否能自行修正?需要多长时间? ( A
A)  能,一周内
B)  能,一月内
C)  能,一月以上
D)  不能修复

9、如反馈则是否能修正?响应修正周期一般是多久?  (  B
A)  能,一周内
B)  能,一月内
C)  能,一月以上
D)  没有响应

10、是否存在抓取robots禁止页面的情况? ( C  )
A)存在,robots封禁无效
B)存在,robots封禁策略生效比例50%以上
C)不存在,robots封禁策略正确生效
D)其他请注明

11、您的网站对爬虫有什么样期望?您对爬虫的其他意见?希望百度爬虫能够更好的识别排版混乱,影响用户体验的页面。对于改版后新url的更新能反应快一点。
回复 支持 反对

使用道具 举报

发表于 2013-11-5 15:23:27 | 显示全部楼层
终于可以发帖了 先占座
回复 支持 反对

使用道具 举报

发表于 2013-11-5 15:24:39 | 显示全部楼层
本帖最后由 zhongbm321 于 2013-11-5 15:33 编辑

1 hanzigong.net
2 d
3 e 现在都不来抓了
4 d
5 e
6 b
7 404
8 d
9 d
10 a
11 爬虫不来爬时应该给我们个提醒,不要用表来给我们展示,站长平台反馈中心反馈的问题希望可以给个答复,不要总沉莫,或都给个很模糊的答案,谢谢!
回复 支持 反对

使用道具 举报

发表于 2013-11-5 15:27:15 | 显示全部楼层
qdcyh.com   晚上再来答题
回复 支持 反对

使用道具 举报

发表于 2013-11-5 15:48:22 | 显示全部楼层

1. 请填写您的站点域名或者网站名称?(sheng1dian.com )      
2、D
3、E
4、E
5、A
6、C
7、遇到抓取失败的情况,服务器HTTP错误状态码比例如何?
      主要是404,占比70%以上
8、A
9、
10、A
11、您的网站对爬虫有什么样期望?您对爬虫的其他意见?
     a,希望对提交的死链响应速度能快一点,现在提交完2个月,爬虫还在抓取;
     b,希望能够更加快速的提交原创内容,保护原创。
     c,希望被爬了以后的原创内容能得到释放,而不是没收了,再也不见,好像这与爬虫没关系额,呵呵
      
回复 支持 反对

使用道具 举报

游客站长  发表于 2013-11-5 16:06:21
1. 请填写您的站点域名或者网站名称?(最好填写站点域名) 湖南电影网
hnyy123.com     
2、百度爬虫是否对您的站点,发起超过预期压力(影响网站正常服务)的抓取行为?   (  D
A)有,1~2次
B)有,3~10次
C)有,10次以上
D)没有发生过
3、如果发起过超预期压力的抓取,那么发生频率如何?  (  C
A)每天发生
B)每周发生
C)每月发生
D)每年发生
E)其他请注明

4、每次抓取压力过大时,具体有多大?  (A   )
A)1~10次/秒
B)10~100次/秒
C)大于100次/s
D)其他请注明

5、爬虫抓取时间点与站点内容更新时间点关系? ( B  )
A)大部份抓取发生在页面更新后1小时内
B)大部分抓取发生在页面更新后1天内
C)大部分抓取发生在页面更新后1周内
D)页面已经很久不更新了,爬虫仍然在抓取
E)其他请注明

6、站点抓取失败率(抓取无效或已经过期的链接占总抓取链接数的比例)如何? ( C  )
A)抓取的链接有50%以上都是失败的
B)抓取的链接有10%~50%都是失败的
C)抓取的链接有10%以下都是失败的

7、遇到抓取失败的情况,服务器HTTP错误状态码比例如何?(404、500等)
8、对于抓取异常行为,如不反馈是否能自行修正?需要多长时间? ( A
A)  能,一周内
B)  能,一月内
C)  能,一月以上
D)  不能修复

9、如反馈则是否能修正?响应修正周期一般是多久?  (A   )
A)  能,一周内
B)  能,一月内
C)  能,一月以上
D)  没有响应

10、是否存在抓取robots禁止页面的情况? (  C
A)存在,robots封禁无效
B)存在,robots封禁策略生效比例50%以上
C)不存在,robots封禁策略正确生效
D)其他请注明

11、您的网站对爬虫有什么样期望?您对爬虫的其他意见?
我希望百度爬虫能够正确对待新站,我的这个站已经快3个月了来的蜘蛛基本上都是降权的蜘蛛,希望百度蜘蛛能够一视同仁,给小站长一个机会,我的这个网站我可以保证内容都是有质量的,没有广告,这些不雅内容!
爬虫对小网站爬取频率太低,这样会让我们发布的新内容都无法被正常收录和索引!希望百度能够体谅一下我们这些小站长!

发表于 2013-11-5 16:12:15 | 显示全部楼层

1. 请填写您的站点域名或者网站名称?(sihaidiaoyu.com ; wafen.cn )      
2、百度爬虫是否对您的站点,发起超过预期压力(影响网站正常服务)的抓取行为?   ( D  )
A)有,1~2次
B)有,3~10次
C)有,10次以上
D)没有发生过
3、如果发起过超预期压力的抓取,那么发生频率如何?  (   )
A)每天发生
B)每周发生
C)每月发生
D)每年发生
E)其他请注明

4、每次抓取压力过大时,具体有多大?  (   )
A)1~10次/秒
B)10~100次/秒
C)大于100次/s
D)其他请注明

5、爬虫抓取时间点与站点内容更新时间点关系? ( A  )
A)大部份抓取发生在页面更新后1小时内
B)大部分抓取发生在页面更新后1天内
C)大部分抓取发生在页面更新后1周内
D)页面已经很久不更新了,爬虫仍然在抓取
E)其他请注明

6、站点抓取失败率(抓取无效或已经过期的链接占总抓取链接数的比例)如何? ( C  )
A)抓取的链接有50%以上都是失败的
B)抓取的链接有10%~50%都是失败的
C)抓取的链接有10%以下都是失败的

7、遇到抓取失败的情况,服务器HTTP错误状态码比例如何?(404、500等)
8、对于抓取异常行为,如不反馈是否能自行修正?需要多长时间? ( A )
A)  能,一周内
B)  能,一月内
C)  能,一月以上
D)  不能修复

9、如反馈则是否能修正?响应修正周期一般是多久?  (   )
A)  能,一周内
B)  能,一月内
C)  能,一月以上
D)  没有响应

10、是否存在抓取robots禁止页面的情况? ( A  )
A)存在,robots封禁无效
B)存在,robots封禁策略生效比例50%以上
C)不存在,robots封禁策略正确生效
D)其他请注明

11、您的网站对爬虫有什么样期望?您对爬虫的其他意见?
希望爬虫 对更新后的 老信息,及时快照抓取。 因为网站可能存在修改 title 栏目名称等情况,这种行为我觉得 爬虫应该及时更新站内信息,而不是降权。更改 title 并不意味着质量就降低,或者网站不稳定。
回复 支持 反对

使用道具 举报

发表于 2013-11-5 16:13:15 | 显示全部楼层
本帖最后由 玉香园护士网 于 2013-11-5 16:20 编辑

护士之家 hushi66.com

1、A
2、B
3、没注意
4、A
5、A
6、C
7、404
8、A
9、A
10、C
11、时代在发展,技术资讯都在变更,对于抓取频率以及权重在一定时间内分配应该给与新页面,更加符合当下实际情况。
回复 支持 反对

使用道具 举报

发表于 2013-11-5 16:37:51 | 显示全部楼层
1.低价铺dijiapu.com
2.D
3.E有可能发生,没注意到
4.A
5.A
6.C
7.一般都是404
8.D
9.D
10.C
11.网站异常提醒工具,异常类型能增加一些,比如为何无缘无故搜索不到品牌词。
回复 支持 反对

使用道具 举报

发表于 2013-11-5 17:11:47 | 显示全部楼层
张邵君大帅哥 发表于 2013-11-5 16:12
1. 请填写您的站点域名或者网站名称?(sihaidiaoyu.com ; wafen.cn )      
2、百度爬虫是否对您的站点 ...

哥们。, 你整错了吧。
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

手机版|Archiver|Baidu Inc.

GMT+8, 2020-1-20 00:58 , Processed in 0.217678 second(s), 10 queries .

Powered by Discuz! X3.2

© 2001-2011 Comsenz Inc.

返回顶部