请选择 进入手机版 | 继续访问电脑版
楼主: Lee

[常见问题汇总] robots.txt到底能不能屏蔽百度蜘蛛?

[复制链接]
发表于 2012-8-21 03:43:39 | 显示全部楼层
哦哦哦..,
回复 支持 反对

使用道具 举报

发表于 2012-8-21 08:26:13 | 显示全部楼层
貌似不太好用啊
回复 支持 反对

使用道具 举报

发表于 2012-8-21 09:27:13 | 显示全部楼层
很有用。
回复 支持 反对

使用道具 举报

发表于 2012-8-22 19:12:22 | 显示全部楼层
同时也说明了外链的重要性啊。
回复 支持 反对

使用道具 举报

发表于 2012-8-22 20:57:03 | 显示全部楼层
索引和显示 是什么意思啊 我是个菜鸟 怎么索引和显示啊
回复 支持 反对

使用道具 举报

发表于 2012-9-4 15:59:41 | 显示全部楼层
淘宝就是这样的原理
回复 支持 反对

使用道具 举报

发表于 2012-9-5 11:46:03 | 显示全部楼层
我的是dede建的,上线已经20天,谷歌收录正常,但是百度没有动静,是因为robots设置有问题还吗?请楼主帮忙看看,谢谢!
User-agent: *
Disallow: /plus/ad_js.php
Disallow: /plus/advancedsearch.php
Disallow: /plus/car.php
Disallow: /plus/carbuyaction.php
Disallow: /plus/shops_buyaction.php
Disallow: /plus/erraddsave.php
Disallow: /plus/posttocar.php
Disallow: /plus/disdls.php
Disallow: /plus/feedback_js.php
Disallow: /plus/mytag_js.php
Disallow: /plus/rss.php
Disallow: /plus/search.php
Disallow: /plus/recommend.php
Disallow: /plus/stow.php
Disallow: /plus/count.php
Disallow: /include
Disallow: /templets

点评

你这个是 得得 默认的吧 没有问题的 在等等就放出来了  详情 回复 发表于 2013-7-30 13:31
回复 支持 反对

使用道具 举报

发表于 2012-9-7 10:50:27 | 显示全部楼层
但是我相信,百度有这个能力,代码也是人写的
回复 支持 反对

使用道具 举报

发表于 2012-9-17 13:47:14 | 显示全部楼层
bloglixu 发表于 2012-7-4 16:30
有时真想把百度屏蔽掉,抓取时带宽太猛了。

屏蔽掉吧,看看会咋样~~~
回复 支持 反对

使用道具 举报

发表于 2012-9-17 14:07:15 | 显示全部楼层
robots这协议百度遵守一半。不遵守一半。
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

手机版|Archiver|Baidu Inc.

GMT+8, 2020-3-29 03:06 , Processed in 0.312378 second(s), 14 queries .

Powered by Discuz! X3.2

© 2001-2011 Comsenz Inc.

返回顶部