请选择 进入手机版 | 继续访问电脑版
查看: 8978|回复: 6

[结果展现] 我在robots.txt中设置了禁止百度收录我网站的内容,为何还出

[复制链接]
发表于 2014-12-3 14:24:51 | 显示全部楼层 |阅读模式
收到站长提问:我在robots.txt中设置了禁止百度收录我网站的内容,为何还出现在百度搜索结果中?
 楼主| 发表于 2014-12-3 14:24:58 | 显示全部楼层
如果其他网站链接了您robots.txt文件中设置的禁止收录的网页,那么这些网页仍然可能会出现在百度的搜索结果中,但您的网页上的内容不会被抓取、建入索引和显示,百度搜索结果中展示的仅是其他网站对您相关网页的描述。
回复 支持 反对

使用道具 举报

发表于 2015-2-2 10:52:55 | 显示全部楼层
我的站有除了www,还有另外一个二级域名,这两个二级域名都在不同服务器上,我的在这两个域名下我都设置了robos文件,就是说我有两个robots,这样是否可以?
回复 支持 反对

使用道具 举报

发表于 2015-2-2 10:55:22 | 显示全部楼层
你设置完后,要等一段时间,才能生效
回复 支持 反对

使用道具 举报

发表于 2015-2-2 15:18:51 | 显示全部楼层
robots 代码阻止的是 你加代码位置链接给你的权重传递,这个页面不会给你传递权重,不会因为这个页面收录,但是其他页面或者网站给你权重的传递,不在这个加代码的位置上,百度还是会计算得分的。
回复 支持 反对

使用道具 举报

发表于 2018-9-6 14:41:57 | 显示全部楼层
我的站也是 Robots设置了不允许抓后台的一些文件 如js php css等 我是写的一个总的 如/admindede 这样的模式 可是蜘蛛还是抓取了 /admindede/abc.php 等这样的内容 /admindede/js/a.js 这样的情况
回复 支持 反对

使用道具 举报

发表于 2018-9-6 14:59:56 | 显示全部楼层
l_xh_lxh 发表于 2018-9-6 14:41
我的站也是 Robots设置了不允许抓后台的一些文件 如js php css等 我是写的一个总的 如/admindede 这样的模 ...

这么写,/admindede/*
回复 支持 1 反对 0

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

手机版|Archiver|Baidu Inc.

GMT+8, 2018-9-22 09:39 , Processed in 0.198021 second(s), 8 queries .

Powered by Discuz! X3.2

© 2001-2011 Comsenz Inc.

返回顶部