请选择 进入手机版 | 继续访问电脑版
查看: 6225|回复: 3

[网站建设] 一个菜鸟对网站收录减少的分析过程

[复制链接]
发表于 2013-5-25 09:57:57 | 显示全部楼层 |阅读模式
本帖最后由 hanbelt 于 2013-5-25 18:39 编辑

这时我自己的站(精品故事 pmume.com)一点经验,可能有些想法不正确,只给大家一个参考。

最近一个月,我的站收录异常,通常是头天加100,二天减50,或者干脆一个横岗躺着不动,再也不复之前的一条斜线向青天的壮丽景观了。我本来就是个技术外行,到了现在也把我逼上梁山,要着手解决这个问题了。

找分析网站日志工具

网站日志好几百M,咋个分析呢?听别人说用shell,我也安装了一个,可不会用,想删除,还删不掉,至今还霸在我硬盘上。只好继续寻找工具,结果找到了光年日志分析工具,挺好用。

分析日志之一

第一次看到我的网站日志,我惊呆了,在用户状态码的404里面,存在大量请求,/ WWWPMUMECOM.ZIP、 / PMUME.COM.ZIP、 / WWWROOT.ZIP 、 / ADMIN.ZIP,这时有人在攻击我的站啊。的确,我曾经打包过我的全部代码,型号压缩包名不是这些。

404

再看蜘蛛状态码,前段时间,我只知道404,所以就看了404,404也好多啊,百度蜘蛛的404错误请求次数达到了300多,而当天的蜘蛛请求总数是3000多点,有十分之一的时候蜘蛛吃了闭门羹。蛛蛛,对不起了,我改。


于是,我开始对照404的页面进行整改。一是清除网站上不小心留下的死链,二是添加到死链文档,站长后台提交。


经过这样做,404错误减少了不少。但减少为0是不可能了,因为有很多莫名其妙的目录请求,根本不可能是蛛蛛从我站里获得的,应该是其他站给我的错误链接。这个不知道咋解决!谁有好方法?

200

又过了几天,收录情况还没明显改善,我再分析日志,又发现大问题,在200页面里面,好多无关紧要的页面占据了大量请求,例如/pf/rate.php 这个是文章页的一个评分插件,没有任何意义,可当天请求数就达到了近200。这些我不想要的请求数加起来,差不多有1000了,哦,MY GOD!  当天总请求数只有2000多,这些东西居然占了一半。

解决,把不希望访问的页面写进robots.txt里面。百度蜘蛛对robots.txt反应好迟钝,差不多一个星期才见效。

304

经过这么一折腾,好像是有点效果,收录增加得多,减少的少,至少我看着日志就舒服多了。我又看到报告的第一个是304状态,就好奇了,这是啥?就查资料。真是不看不知道,一看吓一跳:“自从上次请求后,请求的网页未修改过。 服务器返回此响应时,不会返回网页内容。

在这些返回304的页面中大部分是旧时的内容页,这些返回304正常,可我还发现几个我每天更新的栏目页也在其中。


马上查资料,发现是服务器Etag引起的。找了一些相关资料,可看不懂!!!希望有热心的高手给我指导啊QQ195680923


就写这么多吧,希望对一些人有帮助。 我的小站《精品故事网(pmume.com)》欢迎大家前往指导!

发表于 2013-5-29 18:06:57 | 显示全部楼层
来支持下。
回复 支持 反对

使用道具 举报

发表于 2013-6-6 07:40:18 | 显示全部楼层
这样也行。
回复 支持 反对

使用道具 举报

发表于 2013-6-27 21:06:53 | 显示全部楼层
一般般了。
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

手机版|Archiver|Baidu Inc.

GMT+8, 2020-8-7 21:40 , Processed in 0.315249 second(s), 16 queries .

Powered by Discuz! X3.2

© 2001-2011 Comsenz Inc.

返回顶部