请选择 进入手机版 | 继续访问电脑版
查看: 25972|回复: 42

[常见问题汇总] robots.txt到底能不能屏蔽百度蜘蛛?

[复制链接]
发表于 2013-1-10 12:02:12 | 显示全部楼层
得到投票很多的页面还是会出现在搜索结果中
回复 支持 反对

使用道具 举报

发表于 2013-1-7 17:20:24 | 显示全部楼层
前几天有个机会测试了一下,百度对ROBOTS的反应也挺快的。

不知道是不是我赶上百度的更新期了~~~
回复 支持 反对

使用道具 举报

 楼主| 发表于 2012-6-29 11:10:37 | 显示全部楼层 |阅读模式
常见问题:我在robots.txt中设置了禁止百度收录我网站的内容,为何还出现在百度搜索结果中?


官方回复:如果其他网站链接了您robots.txt文件中设置的禁止收录的网页,那么这些网页仍然可能会出现在百度的搜索结果中,但您的网页上的内容不会被抓取、建入索引和显示,百度搜索结果中展示的仅是其他网站对您相关网页的描述。
发表于 2012-6-29 21:24:00 | 显示全部楼层
哦 原来是这样呀
回复 支持 反对

使用道具 举报

发表于 2012-6-30 08:45:54 | 显示全部楼层
哦 原来是这样呀  robots.txt并不是总管啊!
回复 支持 反对

使用道具 举报

发表于 2012-7-1 11:28:00 | 显示全部楼层
robots.txt的作用还是非常明显的
回复 支持 反对

使用道具 举报

发表于 2012-7-3 15:23:07 | 显示全部楼层
看到这想到一个问题,网站改版是要robots禁止收录一次改到位,还是慢慢改,哪个影响会小一点,其他人众多纷纭
回复 支持 反对

使用道具 举报

发表于 2012-7-4 16:30:19 | 显示全部楼层
有时真想把百度屏蔽掉,抓取时带宽太猛了。
回复 支持 反对

使用道具 举报

发表于 2012-7-8 11:53:13 | 显示全部楼层
这个文件原来只能管自己的网站呀
回复 支持 反对

使用道具 举报

发表于 2012-7-8 14:36:07 | 显示全部楼层
大改版或者上线前十千万别启用顶级域名的,
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

手机版|Archiver|Baidu Inc.

GMT+8, 2020-4-6 06:34 , Processed in 0.304324 second(s), 15 queries .

Powered by Discuz! X3.2

© 2001-2011 Comsenz Inc.

返回顶部