请选择 进入手机版 | 继续访问电脑版
查看: 2338|回复: 6

[建库收录]  为什么Baiduspider不停的抓取我的网站?

[复制链接]
发表于 2014-12-3 14:08:21 | 显示全部楼层 |阅读模式
收到站长提问: 为什么Baiduspider不停的抓取我的网站?
 楼主| 发表于 2014-12-3 14:08:28 | 显示全部楼层
对于您网站上新产生的或者持续更新的页面,Baiduspider会持续抓取。此外,您也可以检查网站访问日志中Baiduspider的访问是否正常,以防止有人恶意冒充Baiduspider来频繁抓取您的网站。 如果您发现Baiduspider非正常抓取您的网站,请通过投诉平台反馈给我们,并请尽量给出Baiduspider对贵站的访问日志,以便于我们跟踪处理。
回复 支持 反对

使用道具 举报

发表于 2021-4-12 14:42:19 | 显示全部楼层
搜索的爬虫类型有巡逻爬虫。一旦你网站更新内容,就回迅速被发现。
回复 支持 反对

使用道具 举报

发表于 2021-4-12 20:50:13 | 显示全部楼层
百度会根据网站内容更新,质量等给与网站一定的抓取频次,baiduspider不断抓取网站要注意是否短时间大量抓取频次变化,通过日志对抓取页面分析,是否是正常内容被抓取,如果抓取页面非正常页面或被注入的页面就要做robots屏蔽和删除异常页面。
回复 支持 反对

使用道具 举报

发表于 2021-4-15 17:19:14 | 显示全部楼层
可能你网站更新了大量的内容,或者是你的sitemap更新了。
回复 支持 反对

使用道具 举报

发表于 2021-4-15 20:59:57 | 显示全部楼层
因为这就是Baiduspider的工作,它们就像蜘蛛一样, 不断的在网上转来转去,找到新的页面给百度,让百度入库啊!
回复 支持 反对

使用道具 举报

发表于 2021-4-16 10:18:48 | 显示全部楼层
能一直抓取可太好啦233
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

手机版|Archiver|Baidu Inc.

GMT+8, 2021-9-17 10:15 , Processed in 0.300225 second(s), 17 queries .

Powered by Discuz! X3.2

© 2001-2011 Comsenz Inc.

返回顶部