robots.txt到底能不能屏蔽百度蜘蛛？

ellwin · 发表于 2012-12-27 11:31:25

估计是不完全能了

watching35 · 发表于 2012-12-28 00:42:30

可以的，站外有链接就会被爬到

神经质_低调 · 发表于 2012-8-2 08:48:12

还是官方的说法比较给力，

ulture · 发表于 2012-12-28 00:38:31

不写robots文件不提交给任何搜索引擎但还是一样收录

zhbddbx · 发表于 2012-8-10 14:19:16

刚看到这么多确定的消息开心啊。。

xyc522 · 发表于 2012-8-10 14:43:37

都说的你不错

后知网络 · 发表于 2012-8-14 17:53:15

如果robots结合nofollow 应该就可以了吧
其他站点的话，蜘蛛来了，就不能出去了

后知网络 · 发表于 2012-8-14 17:53:40

后知网络发表于 2012-8-14 17:53
如果robots结合nofollow 应该就可以了吧
其他站点的话，蜘蛛来了，就不能出去了 ...

不能说蜘蛛吧应该说权重

li497558599 · 发表于 2012-8-17 15:41:22

百度论坛人少啊

daxingtianxia · 发表于 2012-8-20 18:10:55

robots.txt详细的站点规则还是写不好

[常见问题汇总] robots.txt到底能不能屏蔽百度蜘蛛？