robots更新周期及404页面处理

zhbddbx · 发表于 2013-9-3 09:45:02

百度robots更新周期是多长？为什么网站很多404页面百度还是抓取呢？不是说多次抓取返回404就会自动删除吗？这样的话直接禁止抓取还是提交404页面呢？求解!

ctvonline · 发表于 2013-9-3 13:17:22

robots文件3天就生效了。
404页面返回404状态吗，还要提交下死链接，能在robots禁止最好了。

蜘蛛有时候会继续爬行的，即使提交死链接也会爬行的。

zhbddbx · 发表于 2013-9-3 15:46:07

ctvonline 发表于 2013-9-3 13:17
robots文件3天就生效了。
404页面返回404状态吗，还要提交下死链接，能在robots禁止最好了。

谢谢你的解答，不过已经5天啦robots还是没有更新哦。急着看效果呢呼呼。。

zzbus2011 · 发表于 2013-9-3 17:53:30

robots.txt文件中的死链接，一般3天就有效了。

zhbddbx · 发表于 2013-9-4 09:21:16

zzbus2011 发表于 2013-9-3 17:53
robots.txt文件中的死链接，一般3天就有效了。

可是已经设置快一星期了，禁止抓取的目录还是照常抓取呢

ctvonline · 发表于 2013-9-4 14:25:46

zhbddbx 发表于 2013-9-3 15:46
谢谢你的解答，不过已经5天啦robots还是没有更新哦。急着看效果呢呼呼。。 ...

检查robots写的对不对。
看看蜘蛛爬行robots文件了没有。
另外，蜘蛛有时候是不遵守robots协议的，也有这样的现象。
我设置的都很快的，3天就有效果的。你好好检查下。

zhbddbx · 发表于 2013-9-5 17:59:37

ctvonline 发表于 2013-9-4 14:25
检查robots写的对不对。
看看蜘蛛爬行robots文件了没有。
另外，蜘蛛有时候是不遵守robots协议的，也有这 ...

哦哦，写法应该是正确的，是否爬行我先检查一下。谢谢！有问题再找你哈

[其他] robots更新周期及404页面处理