请选择 进入手机版 | 继续访问电脑版
查看: 1715|回复: 11

[其他] 【惊天秘密】此贴可能会被删除,速度看,百度一直不承认

[复制链接]
发表于 2016-1-21 16:17:11 | 显示全部楼层 |阅读模式
         【惊天秘密】此贴可能会被删除,速度看,百度一直不承认自己有匿名蜘蛛,这次被我发现了,大家可以测试下,顺便验证下,看看是不是我哪里没考虑到,也许误解了。

        1、  首先我代码实现模拟蜘蛛,修改浏览器标头,不懂的去百度,举例:火狐浏览器模仿百度蜘蛛,用User Agent Switcher插件

        2、然后在A网站根目录,写个配置文件,用代码去判断,来访的是不是百度蜘蛛,我们设定,百度蜘蛛pattern="Baiduspider.*" 来访后,给予301重定向到B网站redirectType="Permanent"。然后用修改了标头的浏览器,访问A网站,会跳转到B网站,
        3、然后百度站长后台抓取诊断,会显示抓取成功,有跳转。点开,第一行显示A网站,第二行显示B网站。


         4、然后网站在网站改版中,进行网站改版,网站A----B,过几分钟你再来看,就会提示你网站改版不符合规则,没有域名跳转。这个修改标头为百度蜘蛛的浏览器结果是不一样的。


以上就是我真实操作过程,我试过了好几次,

点评

不明觉厉 我试试看  发表于 2016-1-21 17:20

评分

参与人数 1金币 +1 收起 理由
可卡因的日记 + 1 不明觉厉 我试试看

查看全部评分

发表于 2016-1-21 16:33:53 | 显示全部楼层
一直都有匿名蜘蛛的啊。
回复 支持 反对

使用道具 举报

发表于 2016-1-21 16:53:23 | 显示全部楼层
没太明白
回复 支持 反对

使用道具 举报

发表于 2016-1-21 17:08:35 | 显示全部楼层
我到是没有这么深入的研究
回复 支持 反对

使用道具 举报

发表于 2016-1-21 17:18:59 | 显示全部楼层
不太明白  
回复 支持 反对

使用道具 举报

发表于 2016-1-21 17:22:57 | 显示全部楼层
感觉跟听天书一样。。
回复 支持 反对

使用道具 举报

发表于 2016-1-21 17:40:06 | 显示全部楼层
自己到日志里面去看呗……
找百度蜘蛛IP段去查,我们网站主要来的百度蜘蛛IP段有两个:
123.125.71.*
220.181.108.*

查出来的日志里面,找UA不包含baiduspider的,就可以看到了……

顺便,匿名就匿名,这很正常啊?
谷歌也有啊。

这主要是为了判断,一个网站是否针对不同UA返回了不同的页面
来判断一个网站是否有某些作弊行为的特征
虽然爬虫依然无法加载js,所以遇到JS跳转的搜索引擎就没辙了

补充一下,所谓匿名……并不是UA为空或者怎样,总之就是伪装成一个正常用户的UA。可能有PC浏览器标识,也可能是各类手机品牌标识。这太正常不过了
回复 支持 反对

使用道具 举报

发表于 2016-1-21 17:48:29 | 显示全部楼层
看来是一个高高手了
回复 支持 反对

使用道具 举报

发表于 2016-1-21 17:53:46 | 显示全部楼层
搜索引擎肯定存在匿名蜘蛛的,匿名蜘蛛伪装成正常用户,更多的目的是检测网站针对搜索引擎蜘蛛及普通用户返回的内容是否一致!
回复 支持 反对

使用道具 举报

发表于 2016-1-21 18:30:47 | 显示全部楼层
面对高手真心的不太明白
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

手机版|Archiver|Baidu Inc.

GMT+8, 2021-6-16 23:05 , Processed in 0.347495 second(s), 17 queries .

Powered by Discuz! X3.2

© 2001-2011 Comsenz Inc.

返回顶部