robots.txt到底能不能屏蔽百度蜘蛛？

白狐主席 · 发表于 2012-9-17 17:24:52

可以屏蔽，直接不收录的也很多。我用的比较多；

55284110 · 发表于 2012-9-18 00:29:38

我都屏蔽一年多了，现在百度关键字还排到第一页呢，一点都不准

djj半日闲 · 发表于 2012-9-18 08:58:08

俺就过来学习学习！

hhjiung · 发表于 2012-9-18 11:45:50

看到这么肯定的消息,心里踏实多了.

billinn · 发表于 2012-12-13 19:48:27

学习了！最好不好屏蔽百度抓取吧:)

zhongbm321 · 发表于 2013-3-8 17:00:45

robots协议有时还是有争议的！

wrdwer0595 · 发表于 2013-3-16 11:18:23

这么说来，百度也是遵循robots协议的

碧水凝霜 · 发表于 2013-7-30 13:31:25

寒江竹发表于 2012-9-5 11:46
我的是dede建的，上线已经20天，谷歌收录正常，但是百度没有动静，是因为robots设置有问题还吗？请楼主帮忙 ...

你这个是得得默认的吧没有问题的在等等就放出来了

破烂茅屋 · 发表于 2013-7-31 10:17:37

原则是可以的，如果你屏蔽的页面被做了外部链接，这个原则就不存在了。

武术双节棍 · 发表于 2013-8-1 09:11:39

能但是比较慢，如果你的目录已经被收录了，然后你再去屏蔽的话，那就比较慢了。另外一点robots.txt也分内容，如果你的内容特别的好，估计你想屏蔽也难，除非你的网站一上线，就做好robots.txt

[常见问题汇总] robots.txt到底能不能屏蔽百度蜘蛛？