请选择 进入手机版 | 继续访问电脑版
楼主: Lee

[常见问题汇总] robots.txt到底能不能屏蔽百度蜘蛛?

[复制链接]
发表于 2015-8-7 10:46:56 | 显示全部楼层
哪里啊,我刚开始建站的时候,屏蔽了所有蜘蛛,就百度还收录我一百多页面,取消屏蔽后,反倒收录下降了。

点评

你真悲催  详情 回复 发表于 2015-8-11 11:46
回复 支持 反对

使用道具 举报

发表于 2015-8-11 11:46:25 | 显示全部楼层
wuxin茗枫 发表于 2015-8-7 10:46
哪里啊,我刚开始建站的时候,屏蔽了所有蜘蛛,就百度还收录我一百多页面,取消屏蔽后,反倒收录下降了。 ...

你真悲催
回复 支持 反对

使用道具 举报

发表于 2017-2-19 23:20:45 | 显示全部楼层
请问 不小心设置了robots禁止抓取 三天后发现了  及时恢复了 抓取频次现在已经为0 百度啥时候能反应过来 谢谢
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

手机版|Archiver|Baidu Inc.

GMT+8, 2020-6-7 18:55 , Processed in 0.305798 second(s), 14 queries .

Powered by Discuz! X3.2

© 2001-2011 Comsenz Inc.

返回顶部