页面收录到一定值后，收录量就增加很缓慢怎么办？

Lee · 发表于 2012-11-8 15:02:23

常见问题：
问题1：比如：人人日志，上千万的数据，用了一年多的时间目前收录了几百万，且大部分内容都是很高质量的，但收录量到一个值之后，就没有增加，这个是什么原因？

问题2：姓名类的产品，通过sitemap提交之后，上千万的数据还是收录了700w+，会不会被认为这些页面是相似的页面。

官方回复：
回复1：人人之前有一些页面比较封闭，这两年才开始开放，但是spider根据之前的日志分析，对人人网的改动反应偏慢，所以推出了sitemap，希望大家通过sitemap将大家想进行索引的数据进行主动推送。

回复2：互联网资源很多，相似的产品很多，由于资源有限，会尽可能优先选取有价值的页面去抓取。一次提交的页面量很大，搜索引擎需要一定的时间去收录，搜索引擎可能会每天设置一定的压力上线去抓取，避免对站长产生太大的压力，可以尝试使用百度站长平台的抓取压力调节工具调试自己网站的抓取压力，增加压力，我们这边可以适当提高自己的压力加快抓取。

watching35 · 发表于 2012-11-8 15:28:30

第二个问题没有证明回答

qingdaomyjob · 发表于 2012-11-9 09:20:36

把你的网站结构调整好，只提内容质量较好的链接，重复的、无内容的、内容非常非常少的链接不提供，你就会发现百度蜘蛛每天爬行的越来越多！我们网站最近蜘蛛爬的越来越多，技术部已经让我限制百度少抓点了，说压力太大！哈哈

小拼很无奈 · 发表于 2012-11-9 11:09:10

sitemap和robots.txt

billinn · 发表于 2012-12-13 19:32:49

学习了,700w个人觉得已经很好了

[常见问题汇总] 页面收录到一定值后，收录量就增加很缓慢怎么办？