请选择 进入手机版 | 继续访问电脑版
查看: 40720|回复: 6

[网站推广] 如何判断Baiduspider的真假?

[复制链接]
发表于 2012-5-8 16:26:21 | 显示全部楼层 |阅读模式
目前中文互联网上有少量spider冒充Baiduspider抓取网页,周六madcon会上,发现很多同学不知道如何判断Baiduspider的真假,再次说明一下:

中文互联网上,Baiduspider ip的hostname以 *.baidu.com的格式命名,非 *.baidu.com即为冒充,建议您使用DNS反查方式来确定抓取来源的ip是否属于百度。

例如,在linux平台下,您可以使用host ip命令反解ip来判断是否来自Baiduspider的抓取。
$ host 123.125.66.120
120.66.125.123.in-addr.arpa domain name pointer
baiduspider-123-125-66-120.crawl.baidu.com.

在windows平台下,可以用nslookup命令反解ip来判断是否来自Baiduspider的抓取。

点击“开始”-“运行”-“cmd”-“输入nslookup IP地址”-“回车”
C:\Documents and Settings\wangtao>nslookup 123.125.66.120

Name:     baiduspider-123-125-66-120.crawl.baidu.com
Address:   123.125.66.120

详请参考:
http://www.baidu.com/search/spider_chinese.html

PS:Baiduspider绝对不会以匿名的方式抓取网页。

点评

学习了,收藏了!  发表于 2012-12-19 11:14

评分

参与人数 1金币 +1 收起 理由
关键四号3 + 1 bbs.mgxsfm.com冒险岛私服

查看全部评分

发表于 2012-6-27 16:29:11 | 显示全部楼层
新站上线多半月没收录。如果空间里的weblog没有日志,能不能百分百肯定蜘蛛没有爬行过网站,如果确定,哪修改标题,关键词,描述一丁点风险也没有了吧?
回复 支持 反对

使用道具 举报

发表于 2012-7-3 16:26:41 | 显示全部楼层
不错好文章学习了
回复 支持 反对

使用道具 举报

发表于 2012-7-5 17:13:14 | 显示全部楼层
可是我想知道baiduspider这么多IP的含义是什么啊?
回复 支持 反对

使用道具 举报

发表于 2012-7-9 16:58:27 | 显示全部楼层
nslookup   很久没用过这个命令了
回复 支持 反对

使用道具 举报

发表于 2012-7-10 14:55:37 | 显示全部楼层
没看懂那两个网址有什么区别?中英文?
回复 支持 反对

使用道具 举报

发表于 2012-8-5 16:06:37 | 显示全部楼层
    应该还有分类的吧,     竞价蜘蛛, 呵呵
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

手机版|Archiver|Baidu Inc.

GMT+8, 2020-5-27 06:40 , Processed in 0.284707 second(s), 21 queries .

Powered by Discuz! X3.2

© 2001-2011 Comsenz Inc.

返回顶部