请选择 进入手机版 | 继续访问电脑版
楼主: Lee

[常见问题汇总] robots.txt到底能不能屏蔽百度蜘蛛?

[复制链接]
发表于 2012-9-17 17:24:52 | 显示全部楼层
可以屏蔽,直接不收录的也很多。我用的比较多;
回复 支持 反对

使用道具 举报

发表于 2012-9-18 00:29:38 | 显示全部楼层
我都屏蔽一年多了,现在百度关键字还排到第一页呢,一点都不准
回复 支持 反对

使用道具 举报

发表于 2012-9-18 08:58:08 | 显示全部楼层
俺就过来学习学习!
回复 支持 反对

使用道具 举报

发表于 2012-9-18 11:45:50 | 显示全部楼层
看到这么肯定的消息,心里踏实多了.
回复 支持 反对

使用道具 举报

发表于 2012-12-13 19:48:27 | 显示全部楼层
学习了!最好不好屏蔽百度抓取吧:)
回复 支持 反对

使用道具 举报

发表于 2013-3-8 17:00:45 | 显示全部楼层
robots协议 有时还是有争议的!
回复 支持 反对

使用道具 举报

发表于 2013-3-16 11:18:23 | 显示全部楼层
这么说来,百度也是遵循robots协议的
回复 支持 反对

使用道具 举报

发表于 2013-7-30 13:31:25 | 显示全部楼层
寒江竹 发表于 2012-9-5 11:46
我的是dede建的,上线已经20天,谷歌收录正常,但是百度没有动静,是因为robots设置有问题还吗?请楼主帮忙 ...

你这个是 得得 默认的吧 没有问题的 在等等就放出来了
回复 支持 反对

使用道具 举报

发表于 2013-7-31 10:17:37 | 显示全部楼层
原则是可以的,如果你屏蔽的页面被做了外部链接,这个原则就不存在了。
回复 支持 反对

使用道具 举报

发表于 2013-8-1 09:11:39 | 显示全部楼层
能但是比较慢,如果你的目录已经被收录了,然后你再去屏蔽的话,那就比较慢了。另外一点robots.txt也分内容,如果你的内容特别的好,估计你想屏蔽也难,除非你的网站一上线,就做好robots.txt
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

手机版|Archiver|Baidu Inc.

GMT+8, 2020-4-5 15:56 , Processed in 0.325901 second(s), 13 queries .

Powered by Discuz! X3.2

© 2001-2011 Comsenz Inc.

返回顶部