请选择 进入手机版 | 继续访问电脑版
查看: 2175|回复: 20

[问答中心] 百度蜘蛛抓取网站不存在的目录路径页面?【管理帮忙下】

[复制链接]
发表于 2016-2-21 09:24:48 | 显示全部楼层 |阅读模式
我的一个新站刚上线,发现百度蜘蛛:Baiduspider老是去抓取网站上不存在的目录路径页面,每天都要抓取不同的页面好几十个,而这些页面却是不存在的,其他搜索引擎没有这种情况,并且查看了Baiduspider蜘蛛IP是属于百度蜘蛛的真实IP。导致我网站快照迟迟不更新,我网站内容基本都是原创,难道这样的站点也要被欺负吗?
网址:www、dn580、cn    (由于没有发URL权限所有用:代替 .
被抓取的不存在页面地址请看附件:

会不会是有人利用百度搜索的漏洞啊?

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
发表于 2016-2-21 09:51:32 | 显示全部楼层
可以用robots禁止
回复 支持 反对

使用道具 举报

发表于 2016-2-21 09:54:20 | 显示全部楼层
可能域名以前做过站
回复 支持 反对

使用道具 举报

发表于 2016-2-21 10:21:01 | 显示全部楼层
robots禁止
回复 支持 反对

使用道具 举报

 楼主| 发表于 2016-2-21 11:55:48 | 显示全部楼层
斯文的狼丶 发表于 2016-2-21 09:51
可以用robots禁止

那么多连接,每天都会产生很多不一样的,你来禁止给我看看????不累死才怪!

点评

难道你的URL都是无规则的?如果是有规则的URL那么你说这话我也就无能为力了  详情 回复 发表于 2016-2-21 19:06
回复 支持 反对

使用道具 举报

发表于 2016-2-21 13:22:39 | 显示全部楼层
禁止不是办法!禁止错,网站不抓取不更加麻烦吗?
回复 支持 反对

使用道具 举报

发表于 2016-2-21 13:22:57 | 显示全部楼层
我的建议是:慢慢去修改吧!
回复 支持 反对

使用道具 举报

 楼主| 发表于 2016-2-21 13:46:19 | 显示全部楼层
抚顺tww 发表于 2016-2-21 13:22
我的建议是:慢慢去修改吧!

我也是太佩服你们了。
回复 支持 反对

使用道具 举报

发表于 2016-2-21 15:17:04 | 显示全部楼层
呵呵!你要是不在乎排名,就一下封杀全部!
回复 支持 反对

使用道具 举报

 楼主| 发表于 2016-2-21 18:13:21 | 显示全部楼层
抚顺tww 发表于 2016-2-21 15:17
呵呵!你要是不在乎排名,就一下封杀全部!

我求你不要再回复了,无聊不要来这里捣乱!
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

手机版|Archiver|Baidu Inc.

GMT+8, 2019-12-16 18:51 , Processed in 3.996962 second(s), 17 queries .

Powered by Discuz! X3.2

© 2001-2011 Comsenz Inc.

返回顶部