请选择 进入手机版 | 继续访问电脑版
查看: 1103|回复: 5

[建库收录] 百度蜘蛛ip段

[复制链接]
发表于 2021-7-27 11:09:05 | 显示全部楼层 |阅读模式
20金币
请问百度蜘蛛的ip段,百度官方有给出吗?

发表于 2021-7-27 14:13:56 | 显示全部楼层
不是。
百度的IP段是根据baiduspider抓取时,网站日志里显示出来的,然后由站长总结出来的。
baiduspider,本质上就是一个下载网页的下载器,这个下载器的电脑IP也是会变动、浮动的。
另一方面,百度想要做的就是一个“黑匣子”,把你的网页下载下去,然后就独立的运算。没必要公开IP,被有心人操作IP。
回复

使用道具 举报

发表于 2021-7-27 15:29:08 | 显示全部楼层
以前见过那个文档,找了下没找到;IP端段也要那么一些,自己可以根据抓取日志总结下;
抓取的百度蜘蛛IP用nslookup 反查下,筛查下真假蜘蛛
回复

使用道具 举报

发表于 2021-7-28 14:49:46 | 显示全部楼层
112.34.110.1/24
39.156.65.1/24
14.215.176.1/24
61.135.186.1/24
123.125.71.1/24
111.206.221.1/24
180.149.133.1/24
220.181.32.1/24
220.181.108.1/24
220.181.51.1/24
220.181.7.1/24
123.125.66.1/24
121.14.89.1/24
203.208.60.1/24
210.72.225.1/24
125.90.88.1/24
123.125.67.1/24
111.206.198.1/24
116.179.32.1/24
回复

使用道具 举报

发表于 2021-7-28 15:19:10 | 显示全部楼层
Baiduspider=百度蜘蛛
Googlebot=谷歌蜘蛛
Sogou=搜狗蜘蛛
360Spider=360蜘蛛
YisouSpider=神马蜘蛛
Yahoo=雅虎蜘蛛
123.125.68.=123.125.68沙盒
220.181.68.=220.181.68沙盒
220.181.7.=220.181.7预备抓取
123.125.66.=123.125.66预备抓取
121.14.89.=121.14.89新站考察
203.208.60.=203.208.60网站异常
210.72.225.=210.72.225巡逻
123.125.71.106=123.125.71.106低权重
123.125.71.95=123.125.71.95低权重
123.125.71.97=123.125.71.97低权重
123.125.71.117=123.125.71.117低权重
123.125.71.=123.125.71低权重汇总
220.181.108.95=220.181.108.95隔日快照
220.181.108.92=220.181.108.92权重抓取
220.181.108.91=220.181.108.91综合权重
220.181.108.75=220.181.108.75内页权重
220.181.108.86=220.181.108.86权重首页
220.181.108.89=220.181.108.89权重首页
220.181.108.94=220.181.108.94权重首页
220.181.108.97=220.181.108.97权重首页
220.181.108.80=220.181.108.80权重首页
220.181.108.77=220.181.108.77权重首页
220.181.108.83=220.181.108.83权重首页
220.181.108.=220.181.108权重蜘蛛汇总
微信图片_20210728151815.png
回复

使用道具 举报

发表于 2021-7-28 17:05:15 | 显示全部楼层
nslookup  查询的!
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

手机版|Archiver|Baidu Inc.

GMT+8, 2021-10-17 07:37 , Processed in 0.300251 second(s), 17 queries .

Powered by Discuz! X3.2

© 2001-2011 Comsenz Inc.

返回顶部