请选择 进入手机版 | 继续访问电脑版
楼主: Lee

[常见问题汇总] robots.txt到底能不能屏蔽百度蜘蛛?

[复制链接]
发表于 2012-12-27 11:31:25 | 显示全部楼层
估计是不完全能了
回复 支持 反对

使用道具 举报

发表于 2012-12-28 00:42:30 | 显示全部楼层
可以的,站外有链接就会被爬到
回复 支持 反对

使用道具 举报

发表于 2012-8-2 08:48:12 | 显示全部楼层
  还是官方的说法比较给力,
回复 支持 反对

使用道具 举报

发表于 2012-12-28 00:38:31 | 显示全部楼层
不写robots文件 不提交给任何搜索引擎 但还是一样收录
回复 支持 反对

使用道具 举报

发表于 2012-8-10 14:19:16 | 显示全部楼层
刚看到这么多确定的消息开心啊。。
回复 支持 反对

使用道具 举报

发表于 2012-8-10 14:43:37 | 显示全部楼层
都说的你不错
回复 支持 反对

使用道具 举报

发表于 2012-8-14 17:53:15 | 显示全部楼层
如果robots结合nofollow 应该就可以了吧
其他站点的话,蜘蛛来了,就不能出去了
回复 支持 反对

使用道具 举报

发表于 2012-8-14 17:53:40 | 显示全部楼层
后知网络 发表于 2012-8-14 17:53
如果robots结合nofollow 应该就可以了吧
其他站点的话,蜘蛛来了,就不能出去了 ...

不能说蜘蛛吧 应该说权重
回复 支持 反对

使用道具 举报

发表于 2012-8-17 15:41:22 | 显示全部楼层
百度论坛人少啊  
回复 支持 反对

使用道具 举报

发表于 2012-8-20 18:10:55 | 显示全部楼层
robots.txt详细的站点规则 还是写不好
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

手机版|Archiver|Baidu Inc.

GMT+8, 2020-5-26 12:21 , Processed in 0.181682 second(s), 13 queries .

Powered by Discuz! X3.2

© 2001-2011 Comsenz Inc.

返回顶部