请选择 进入手机版 | 继续访问电脑版
查看: 9753|回复: 18

[网页收录] Baiduspider爬行日志正常 但新内容不体现在结果中

[复制链接]
发表于 2012-8-28 17:24:59 | 显示全部楼层 |阅读模式
本帖最后由 Uncle_Crazy 于 2012-8-28 17:27 编辑

咨询一个困扰很久的问题:

网站运营好几年了,百度Baiduspider每日爬行和返回状态码一直正常,并且新增加的内容也会第一时间被Baiduspider爬行

但是新增加的内容极少被实时展现在搜索结果中,大多数内容只有在每周大更新时才会被放出来,不知道大家有没有这样的情况。

发一条今天新内容的百度爬行日志:




  1. 2012-08-28 08:36:04 W3SVC585994967 203.171.*.* GET /down/html/51769.html - 80 - 123.125.71.85 Mozilla/5.0+(compatible;+Baiduspider/2.0;++http;//www,baidu,com/search/spider.html) 200 0 0
复制代码

发表于 2012-8-30 17:40:16 | 显示全部楼层
百度spider抓取到网站的内容资源后,会对抓回来的资源进行筛选评估,符合收录的质量要求才会呈现到线上,这中间会有一定的周期,每个网站每个内容的周期可能都不同,时效性很强的资源会更快呈现到线上,以上现象正常

点评

谢谢管理! 看来我的网站有时候“秒收”,有时候“周收”这种现象还是网站不够权重值不够,一定努力提高网站质量。 另外,关于百度spider爬行返回的状态码,官方能否在资料区或在这里给出说明呢?  详情 回复 发表于 2012-8-30 20:24
回复 支持 反对

使用道具 举报

发表于 2012-8-29 11:28:35 | 显示全部楼层
为什么是200 0 0,最后一个0代表的是抓取的数据大小

点评

兄弟,200 0 0 是抓取正常。  详情 回复 发表于 2012-8-29 15:50
回复 支持 反对

使用道具 举报

发表于 2012-8-29 14:32:57 | 显示全部楼层
楼上有理。另外,蜘蛛读取之后,百度索引库还会对内容甄选索引的。除非大站基本秒收。

点评

我的网站间,每隔一段时间就会有秒收,但是时间不长又变成每周大更新时收录了。 一直这样反复,不稳定。  详情 回复 发表于 2012-8-29 15:45
回复 支持 反对

使用道具 举报

 楼主| 发表于 2012-8-29 15:45:20 | 显示全部楼层
qq453108491 发表于 2012-8-29 14:32
楼上有理。另外,蜘蛛读取之后,百度索引库还会对内容甄选索引的。除非大站基本秒收。 ...

我的网站间,每隔一段时间就会有秒收,但是时间不长又变成每周大更新时收录了。

一直这样反复,不稳定。
回复 支持 反对

使用道具 举报

 楼主| 发表于 2012-8-29 15:50:46 | 显示全部楼层
折戟沉啥 发表于 2012-8-29 11:28
为什么是200 0 0,最后一个0代表的是抓取的数据大小

兄弟,200 0 0 是抓取正常。

点评

2012-08-28 00:01:13 GET /zufang/qiuzu_49765.shtml - 192.168.1.81 HTTP/1.1 Mozilla/5.0+(compatible;+Baiduspider/2.0;++htt p:// www。baidu.com/search/spider.html) - 200 0 11401 这样的才是正常的,后面的  详情 回复 发表于 2012-8-30 15:40
回复 支持 反对

使用道具 举报

发表于 2012-8-30 15:40:52 | 显示全部楼层
Uncle_Crazy 发表于 2012-8-29 15:50
兄弟,200 0 0 是抓取正常。

2012-08-28 00:01:13 GET /zufang/qiuzu_49765.shtml - 192.168.1.81 HTTP/1.1 Mozilla/5.0+(compatible;+Baiduspider/2.0;++htt p:// www。baidu.com/search/spider.html) - 200 0 11401

这样的才是正常的,后面的11401是抓取的代码字节数

点评

那好吧,期待高人或官方站出来说明一下,哪个是正常的。  详情 回复 发表于 2012-8-30 15:45
回复 支持 反对

使用道具 举报

 楼主| 发表于 2012-8-30 15:45:11 | 显示全部楼层
折戟沉啥 发表于 2012-8-30 15:40
2012-08-28 00:01:13 GET /zufang/qiuzu_49765.shtml - 192.168.1.81 HTTP/1.1 Mozilla/5.0+(compatible; ...

那好吧,期待高人或官方站出来说明一下,哪个是正常的。
回复 支持 反对

使用道具 举报

 楼主| 发表于 2012-8-30 20:24:52 | 显示全部楼层
sitemapbbs 发表于 2012-8-30 17:40
百度spider抓取到网站的内容资源后,会对抓回来的资源进行筛选评估,符合收录的质量要求才会呈现到线上,这 ...

谢谢管理!
看来我的网站有时候“秒收”,有时候“周收”这种现象还是网站不够权重值不够,一定努力提高网站质量。

另外,关于百度spider爬行返回的状态码,官方能否在资料区或在这里给出说明呢?

点评

你的200 0 0这个日志记录应该是用日志筛选工具筛选之后吧后面的值给弄丢了,你看下原始的iss日志  详情 回复 发表于 2012-8-31 15:53
回复 支持 反对

使用道具 举报

发表于 2012-8-31 15:53:36 | 显示全部楼层
Uncle_Crazy 发表于 2012-8-30 20:24
谢谢管理!
看来我的网站有时候“秒收”,有时候“周收”这种现象还是网站不够权重值不够,一定努力提高 ...

你的200 0 0这个日志记录应该是用日志筛选工具筛选之后吧后面的值给弄丢了,你看下原始的iss日志

点评

感谢兄弟热心的解答,一直都是直接看IIS(原始)日志。  详情 回复 发表于 2012-8-31 16:20
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

手机版|Archiver|Baidu Inc.

GMT+8, 2024-3-28 20:40 , Processed in 0.292295 second(s), 18 queries .

返回顶部