请选择 进入手机版 | 继续访问电脑版
查看: 3188|回复: 6

[建库收录] 蜘蛛抓取日期目录,导致大量403,该如何处理?

[复制链接]
发表于 2015-6-8 11:01:15 | 显示全部楼层 |阅读模式
10金币
问题:蜘蛛抓取日期目录,导致大量403,该如何处理?
详细:内容生成URL结构包含日期目录:/20150513/id.html,目录不能访问,报403,网站无入口,但是日志中发现蜘蛛大量抓取日期目录,这种情况要如何处理,无法使用robots,只能不断提交死链?谢谢!
220.181.108.94 - - [12/May/2015:14:44:08 +0800] "GET /20141107/ HTTP/1.0" 403 123 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0;
平台答:如果没有被蜘蛛抓取就没有关系

发表于 2015-6-8 11:56:07 | 显示全部楼层
robots  屏蔽目录  或者  死链,没有别的选择  直接屏蔽目录吧。简单快速

点评

他每天的文章都生成了一个目录,这要是屏蔽的话太多了。  发表于 2015-6-20 16:19
回复

使用道具 举报

发表于 2015-7-3 10:43:24 | 显示全部楼层
一样啊,我的站 从5月份开始的
回复

使用道具 举报

发表于 2015-7-3 19:59:44 | 显示全部楼层
看能不能找到目录的规律,通过robots 通配符* 屏蔽
回复

使用道具 举报

发表于 2015-7-13 16:48:21 | 显示全部楼层
可以使用rel=nofollow试试!在有日期的模板文件里面添加这个试试!
回复

使用道具 举报

发表于 2015-7-20 16:52:12 | 显示全部楼层
权限问题,也可能是你的robots.txt有问题
回复

使用道具 举报

发表于 2015-7-20 17:45:31 | 显示全部楼层
被移动蜘蛛访问死的
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

手机版|Archiver|Baidu Inc.

GMT+8, 2022-1-18 01:38 , Processed in 0.369421 second(s), 17 queries .

Powered by Discuz! X3.2

© 2001-2011 Comsenz Inc.

返回顶部