改造Https后蜘蛛抓取错误，今天才发现是这个原因供参考

gzericlee · 发表于 2018-9-29 11:33:36

上个月开始玩熊掌号，网站经营了有好些年了，收录及排名都很好。

见到似乎改造成https是大势所趋，于是挽起袖子改。

做完301全站转Https后，网站访问正常，百度的Https认证也成功啊，以为大功告成了。

但偶然间发现蜘蛛抓取模拟会出错，以为是个别现象，也没有上心。

然而，9月8号起，收录大幅度下降，排名也瞬间没有了，还以为是短期的调整，继续更新内容，并没有太紧张。

今天去搜索后台，才发现最近这短时间的收录全部是抓取错误

尝试做蜘蛛模拟抓取，也是504错误

但网站访问是正常的呀！各种搜索无解，最后发现在做https设置时，IIS里做了这项改动，也不知当时是看哪篇文章说的，当时给设成【接受】了

其实这一项普通网站是不应设的，正常应改设为【忽略】

改完之后，各种抓取成功。。。应该偶然也会有遇到我们这种情况的人，所以写出来，供大家参考。

昧狭禾psvsr · 发表于 2018-10-9 16:06:52

感谢感谢分享

WHYMEmeQ · 发表于 2018-11-26 20:35:22

感谢分享

摆渡寻人8 · 发表于 2018-11-27 11:05:09

发帖没有发言权哦到尅啊新人区都不行！！！！你们为什么可以发帖啊？是要满足什么条件？

光网GW · 发表于 2018-11-27 13:19:34

挺好的呀。

woterpu · 发表于 2018-11-27 14:54:05

摆渡寻人8 发表于 2018-11-27 11:05
发帖没有发言权哦到尅啊新人区都不行！！！！你们为什么可以发帖啊？是要满足什么条件？ ...

有些板块是可以发帖的，你试试。

mjxghost2011 · 发表于 2019-7-17 16:46:55

折腾了我好几天，今天才看到楼主写的这篇文章，顿时茅塞顿开，拨云见雾呀，电想科技在此谢过！

实体店网 · 发表于 2019-7-18 09:27:46

请问apache怎么解决

gycjyy · 发表于 2019-7-18 14:41:41

感谢感谢分享！！！

沃才教育 · 发表于 2019-7-19 10:44:54

感谢分享~

[站长互助] 改造Https后蜘蛛抓取错误，今天才发现是这个原因供参考

本帖子中包含更多资源

评分