robots.txt到底能不能屏蔽百度蜘蛛？

上帝矫情丶 · 发表于 2012-8-21 03:43:39

哦哦哦..,

where321 · 发表于 2012-8-21 08:26:13

貌似不太好用啊

赤壁神剑 · 发表于 2012-8-21 09:27:13

很有用。

superbase · 发表于 2012-8-22 19:12:22

同时也说明了外链的重要性啊。

lhlucky521 · 发表于 2012-8-22 20:57:03

索引和显示是什么意思啊我是个菜鸟怎么索引和显示啊

hidehacher · 发表于 2012-9-4 15:59:41

淘宝就是这样的原理

寒江竹 · 发表于 2012-9-5 11:46:03

我的是dede建的，上线已经20天，谷歌收录正常，但是百度没有动静，是因为robots设置有问题还吗？请楼主帮忙看看，谢谢！
User-agent: *
Disallow: /plus/ad_js.php
Disallow: /plus/advancedsearch.php
Disallow: /plus/car.php
Disallow: /plus/carbuyaction.php
Disallow: /plus/shops_buyaction.php
Disallow: /plus/erraddsave.php
Disallow: /plus/posttocar.php
Disallow: /plus/disdls.php
Disallow: /plus/feedback_js.php
Disallow: /plus/mytag_js.php
Disallow: /plus/rss.php
Disallow: /plus/search.php
Disallow: /plus/recommend.php
Disallow: /plus/stow.php
Disallow: /plus/count.php
Disallow: /include
Disallow: /templets

Dangerous_5033 · 发表于 2012-9-7 10:50:27

但是我相信，百度有这个能力，代码也是人写的

dangwei站长 · 发表于 2012-9-17 13:47:14

bloglixu 发表于 2012-7-4 16:30
有时真想把百度屏蔽掉，抓取时带宽太猛了。

屏蔽掉吧，看看会咋样~~~

kissbbao · 发表于 2012-9-17 14:07:15

robots这协议百度遵守一半。不遵守一半。

[常见问题汇总] robots.txt到底能不能屏蔽百度蜘蛛？

点评