请选择 进入手机版 | 继续访问电脑版
查看: 4016|回复: 7

[建库收录] 百度站长抓取诊断显示失败 状态码200 无法抓取到具体内容

[复制链接]
发表于 2021-6-8 17:40:38 | 显示全部楼层 |阅读模式
30金币
QQ截图20210608173945.jpg

尝试的解决方案:使用了几乎国内所有CDN都测试了一遍,最后只有百度的云加速生效后可以正常抓取。但最近百度云加速会自动把百度爬虫的抓取回源地址,导致百度无法抓取。


模拟抓取是正常的,用百度云加速的CDN后百度可以正常抓取,说明是网页源码和设置都没有问题。现在个别页面也可以正常抓取,说明也没有屏蔽百度蜘蛛。所以现在感觉这个问题很奇怪,很长时间了,后台反馈给百度也是一直在处理中,没有结果。

发表于 2021-6-8 17:58:22 | 显示全部楼层
200反馈是百度反馈的,你要看网站日志对于文件的反馈。

点评

跟这个没有关系,网页状态码目前没有发现任何异常  详情 回复 发表于 2021-6-9 10:14
回复

使用道具 举报

 楼主| 发表于 2021-6-9 10:14:43 | 显示全部楼层
盛世清北121 发表于 2021-6-8 17:58
200反馈是百度反馈的,你要看网站日志对于文件的反馈。

跟这个没有关系,网页状态码目前没有发现任何异常
回复

使用道具 举报

发表于 2021-6-9 10:49:52 | 显示全部楼层
你还是检查一下服务器,都安装了什么吧。
QQ截图20210609104929.jpg

点评

昨天让韩国人使用了个笨方法,对比抓取正常的网址和不正常的网址返回的http头信息,要求他们强制把不正常的网址修改到跟正常抓取网址返回的头信息一样,最后搞定了。看不懂韩文 微信翻译看了下,好像是改了session  详情 回复 发表于 2021-6-10 17:26
回复

使用道具 举报

发表于 2021-6-9 10:55:58 | 显示全部楼层
看robots是不是屏蔽了,还有服务器是不是限制了
回复

使用道具 举报

 楼主| 发表于 2021-6-10 17:26:08 | 显示全部楼层
毕文权 发表于 2021-6-9 10:49
你还是检查一下服务器,都安装了什么吧。

昨天让韩国人使用了个笨方法,对比抓取正常的网址和不正常的网址返回的http头信息,要求他们强制把不正常的网址修改到跟正常抓取网址返回的头信息一样,最后搞定了。看不懂韩文 微信翻译看了下,好像是改了session 相关的设置;另外关闭了强制ssl  

点评

肯定是服务器软件环境或者机房防火墙问题  详情 回复 发表于 2021-6-11 11:34
回复

使用道具 举报

发表于 2021-6-11 11:34:15 | 显示全部楼层
wybxp 发表于 2021-6-10 17:26
昨天让韩国人使用了个笨方法,对比抓取正常的网址和不正常的网址返回的http头信息,要求他们强制把不正常 ...

肯定是服务器软件环境或者机房防火墙问题
回复

使用道具 举报

发表于 2021-6-11 12:48:52 | 显示全部楼层
我现在不能使用网页抓取诊断工具了,官方给的说法是没有权限,我也是醉了。弹窗给出的是:
您无权访问该页面,点击确定按钮返回首页”,这是怎么回事啊?

回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

手机版|Archiver|Baidu Inc.

GMT+8, 2021-12-6 07:47 , Processed in 0.250088 second(s), 18 queries .

Powered by Discuz! X3.2

© 2001-2011 Comsenz Inc.

返回顶部