请选择 进入手机版 | 继续访问电脑版
查看: 33965|回复: 24

[平台工具] 如何禁止百度收录两个动态地址

[复制链接]
发表于 2014-12-3 12:31:41 | 显示全部楼层 |阅读模式
收到站长提问:如何禁止百度收录两个动态地址
 楼主| 发表于 2014-12-3 12:32:02 | 显示全部楼层
假设URL文件名是epc_1.html,那么robots应该是:User-agent: *  Disallow: /epc_1.html
回复 支持 反对

使用道具 举报

发表于 2015-8-26 14:47:30 | 显示全部楼层
是动态地址哦
回复 支持 反对

使用道具 举报

发表于 2015-8-26 15:12:27 | 显示全部楼层
禁止容易,恢复难。
我代表全国的站长反馈下,现在蜘蛛都无视Robots协议了。压根都不看的,直接一进来就是抓JS CSS 然后字体什么的。。。

点评

顶一下,深有体会  详情 回复 发表于 2016-3-3 09:21
回复 支持 反对

使用道具 举报

发表于 2015-9-2 21:24:26 | 显示全部楼层
希望有管理能看到此贴,百度无视robots.txt中的Disallow: /*?*
就是禁止抓取一切带参数的链接。
回复 支持 反对

使用道具 举报

发表于 2015-9-3 09:41:26 | 显示全部楼层
这里有个问题,同一个页面为什么会出现两个相同的动态地址,可以先想办法解决唯一入口的问题,如果解决不了,可以采用301或rel=”canonical”来解决问题。
回复 支持 反对

使用道具 举报

发表于 2015-9-3 16:24:23 | 显示全部楼层
每天蜘蛛同一个css文件和js文件抓取多次,而且robots禁了也没用
回复 支持 反对

使用道具 举报

发表于 2015-9-3 23:13:05 | 显示全部楼层
在源码声明不可以吗?
回复 支持 反对

使用道具 举报

发表于 2016-3-5 07:11:02 | 显示全部楼层
先坚持一下robots协议是否正确,还可以判断refer,拒绝蜘蛛访问。
回复 支持 反对

使用道具 举报

发表于 2016-3-4 11:58:56 | 显示全部楼层
度娘现在忙着赚钱 哪有时间啊
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

手机版|Archiver|Baidu Inc.

GMT+8, 2021-11-29 02:03 , Processed in 0.278155 second(s), 18 queries .

Powered by Discuz! X3.2

© 2001-2011 Comsenz Inc.

返回顶部