请选择 进入手机版 | 继续访问电脑版
查看: 1570|回复: 33

网站做了https,需要做什么处理吗

[复制链接]
发表于 2016-12-26 10:21:47 | 显示全部楼层 |阅读模式
现在网站做了https,全部http都301到了https,但是蜘蛛还是抓取http页面,这样肯定返回301了,需要对蜘蛛做不跳转抓取吗,就是
user-agent方法。
通过使用user-agent判断来访者,如果是Baiduspider,则将Baiduspider定向到http页面,如果是普通用户,则通过301重定向到对应的https页面。
上面这个需要做不,现在抓取量还不错,担心不收录了。。。。



本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
发表于 2016-12-26 10:29:56 | 显示全部楼层

回帖奖励 +1

没必要做识别

点评

如果不做识别,现在抓取还是http返回301,我不知道百度还会收录不,https一个都没抓取  详情 回复 发表于 2016-12-26 10:35
回复 支持 反对

使用道具 举报

发表于 2016-12-26 10:33:24 | 显示全部楼层

回帖奖励 +1

没有做过啊,你的站点现在效果咋样

点评

抓取还行,才做了https,主要是苹果app要求没办法做了全站,但是现在还是抓取http的  详情 回复 发表于 2016-12-26 10:34
回复 支持 反对

使用道具 举报

发表于 2016-12-26 10:33:57 | 显示全部楼层

回帖奖励 +1

还没做https,正在纠结要不要做
回复 支持 反对

使用道具 举报

发表于 2016-12-26 10:33:58 | 显示全部楼层

回帖奖励 +1

还没做这块
回复 支持 反对

使用道具 举报

 楼主| 发表于 2016-12-26 10:34:35 | 显示全部楼层
包装HI 发表于 2016-12-26 10:33
没有做过啊,你的站点现在效果咋样

抓取还行,才做了https,主要是苹果app要求没办法做了全站,但是现在还是抓取http的
回复 支持 反对

使用道具 举报

 楼主| 发表于 2016-12-26 10:35:18 | 显示全部楼层

如果不做识别,现在抓取还是http返回301,我不知道百度还会收录不,https一个都没抓取
回复 支持 反对

使用道具 举报

发表于 2016-12-26 10:36:22 | 显示全部楼层

回帖奖励 +1

没必要做识别
回复 支持 反对

使用道具 举报

发表于 2016-12-26 10:37:58 | 显示全部楼层

回帖奖励 +1


没必要做识别
回复 支持 反对

使用道具 举报

发表于 2016-12-26 10:41:09 | 显示全部楼层

回帖奖励 +1

https一个都没抓取好像站长有个地方提交

点评

上面图片有,提交过了的,也显示支持  详情 回复 发表于 2016-12-26 10:46
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

手机版|Archiver|Baidu Inc.

GMT+8, 2020-2-24 17:31 , Processed in 0.226571 second(s), 7 queries .

Powered by Discuz! X3.2

© 2001-2011 Comsenz Inc.

返回顶部