请选择 进入手机版 | 继续访问电脑版
查看: 2885|回复: 9

[站长互助] 改造Https后蜘蛛抓取错误,今天才发现是这个原因供参考

[复制链接]
发表于 2018-9-29 11:33:36 | 显示全部楼层 |阅读模式
上个月开始玩熊掌号,网站经营了有好些年了,收录及排名都很好。

见到似乎改造成https是大势所趋,于是挽起袖子改。

做完301全站转Https后,网站访问正常,百度的Https认证也成功啊,以为大功告成了。


但偶然间发现蜘蛛抓取模拟会出错,以为是个别现象,也没有上心。

然而,9月8号起,收录大幅度下降,排名也瞬间没有了,还以为是短期的调整,继续更新内容,并没有太紧张。

今天去搜索后台,才发现最近这短时间的收录全部是抓取错误



尝试做蜘蛛模拟抓取,也是504错误


但网站访问是正常的呀!各种搜索无解,最后发现在做https设置时,IIS里做了这项改动,也不知当时是看哪篇文章说的,当时给设成【接受】了

其实这一项普通网站是不应设的,正常应改设为【忽略】




改完之后,各种抓取成功。。。应该偶然也会有遇到我们这种情况的人,所以写出来,供大家参考。





本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x

评分

参与人数 1金币 +2 收起 理由
humengjun2 + 2 很给力!

查看全部评分

发表于 2018-10-9 16:06:52 来自手机 | 显示全部楼层
感谢感谢分享
回复 支持 反对

使用道具 举报

发表于 2018-11-26 20:35:22 | 显示全部楼层
感谢分享
回复 支持 反对

使用道具 举报

发表于 2018-11-27 11:05:09 | 显示全部楼层
发帖没有发言权哦到尅啊 新人区都不行!!!!你们为什么可以发帖啊?是要满足什么条件?
回复 支持 反对

使用道具 举报

发表于 2018-11-27 13:19:34 | 显示全部楼层
挺好的呀。
回复 支持 反对

使用道具 举报

发表于 2018-11-27 14:54:05 | 显示全部楼层
摆渡寻人8 发表于 2018-11-27 11:05
发帖没有发言权哦到尅啊 新人区都不行!!!!你们为什么可以发帖啊?是要满足什么条件? ...

有些板块是可以发帖的,你试试。
回复 支持 反对

使用道具 举报

发表于 2019-7-17 16:46:55 | 显示全部楼层
折腾了我好几天,今天才看到楼主写的这篇文章,顿时茅塞顿开,拨云见雾呀,电想科技在此谢过!
回复 支持 反对

使用道具 举报

发表于 2019-7-18 09:27:46 | 显示全部楼层
请问apache怎么解决
回复 支持 反对

使用道具 举报

发表于 2019-7-18 14:41:41 | 显示全部楼层
感谢感谢分享!!!
回复 支持 反对

使用道具 举报

发表于 2019-7-19 10:44:54 | 显示全部楼层
感谢分享~
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

手机版|Archiver|Baidu Inc.

GMT+8, 2019-8-18 23:24 , Processed in 0.459542 second(s), 9 queries .

Powered by Discuz! X3.2

© 2001-2011 Comsenz Inc.

返回顶部