请选择 进入手机版 | 继续访问电脑版
查看: 1456|回复: 3

[其它] 使用nslookup命令来识别真假百度蜘蛛出现了问题

[复制链接]
发表于 2021-10-9 18:13:19 | 显示全部楼层 |阅读模式
20金币
QQ图片20211009180301.png


最近发现大量IP段冒充百度spider的useragent来抓取我们网页内容,有的甚至直接通过浏览器刷新来实现。


我们准备采取措施,基于百度官方的资料https冒号//ziyuan点baidu**斜杠college/articleinfo?id=1002,我们准备识别真假百度蜘蛛,但是当我们把代码都写完了,测试发现了123.125.67.219这个IP应该是百度蜘蛛的IP,但是实际上用nslookup命令发现这个IP段的hostname并没有以*.baidu.com 或*.baidu.jp 的格式命名,而是压根没有hostname。请百度官方人员过来答复下,我们该如何识别真假百度蜘蛛?能不能靠谱一些?  


另外,为什么每次在站长工具后台反馈问题,总是出现2个BUG?
1.  发出的内容会重复显示两遍。
2.  上传的图片,显示成功,实际到了反馈列表里看并不显示,又需要我们点“回复”里重新上传一次。


你们作为一个大厂,这么低级的BUG都懒得修复一下?

QQ图片20211009180301.png
 楼主| 发表于 2021-10-9 18:14:26 | 显示全部楼层
@百度站长平台  请过来正面面对,做个回答吧,谢谢,我们等着用呢
回复

使用道具 举报

发表于 2021-10-9 20:33:33 | 显示全部楼层
是百度用的Ip,但是不是百度抓取的Ip所以没有蜘蛛ua.
比如:123.125.71.50是蜘蛛IP

123.125.67.219 站长资源平台使用的IP,主要爬取你所提交的sitemap文件 和 robots 以及提交404链接地址的更新等等访问UA是百度蜘蛛的ua,但是反向查询不是

2021-10-09_203721.png

回复

使用道具 举报

发表于 2021-10-10 16:47:02 | 显示全部楼层
把百度蜘蛛屏蔽了,啥事都没有了
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

手机版|Archiver|Baidu Inc.

GMT+8, 2021-11-30 14:43 , Processed in 0.200650 second(s), 17 queries .

Powered by Discuz! X3.2

© 2001-2011 Comsenz Inc.

返回顶部