请选择 进入手机版 | 继续访问电脑版
查看: 441|回复: 16

[建库收录] https网站制作sitemap,如何完整提取所有链接?

[复制链接]
发表于 2018-1-11 14:53:21 | 显示全部楼层 |阅读模式
20金币
用爱站或者sitemapX都不行~提取不出来所有链接~




发表于 2018-1-11 16:12:00 | 显示全部楼层
百度小爬虫,一年30,很好用,绑定域名的

点评

谢谢~是不是购买了才能使用?没购买情况下一条也显示不出来~  详情 回复 发表于 2018-1-12 09:08
回复

使用道具 举报

发表于 2018-1-11 16:27:27 | 显示全部楼层

额 额额
回复

使用道具 举报

发表于 2018-1-11 17:15:00 | 显示全部楼层
我都没用这个
回复

使用道具 举报

发表于 2018-1-11 17:17:02 | 显示全部楼层
用火车头采集 或 shell 或python
回复

使用道具 举报

发表于 2018-1-11 17:43:26 | 显示全部楼层
先提取http的url,之后在手动批量加一个s即可,我就是这样操作的

点评

http也是没有提取完的 几万页面只能提取出来几十个~  详情 回复 发表于 2018-1-12 09:04
回复

使用道具 举报

发表于 2018-1-11 17:53:26 | 显示全部楼层
百度小爬虫,一年30,很好用,绑定域名的

点评

是不是购买了才能使用?没购买情况下一条也显示不出来~  详情 回复 发表于 2018-1-12 09:04
回复

使用道具 举报

 楼主| 发表于 2018-1-12 09:04:14 | 显示全部楼层
互联网金融媒体 发表于 2018-1-11 17:43
先提取http的url,之后在手动批量加一个s即可,我就是这样操作的

http也是没有提取完的  几万页面只能提取出来几十个~
回复

使用道具 举报

 楼主| 发表于 2018-1-12 09:04:49 | 显示全部楼层
李小 发表于 2018-1-11 17:53
百度小爬虫,一年30,很好用,绑定域名的

是不是购买了才能使用?没购买情况下一条也显示不出来~
回复

使用道具 举报

 楼主| 发表于 2018-1-12 09:08:34 | 显示全部楼层
憇心DJ 发表于 2018-1-11 16:12
百度小爬虫,一年30,很好用,绑定域名的

谢谢~是不是购买了才能使用?没购买情况下一条也显示不出来~

点评

可以免费抓取500条,你的站要是总数量在500左右,可以免费用  详情 回复 发表于 2018-1-12 09:14
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

手机版|Archiver|Baidu Inc.

GMT+8, 2018-8-19 08:33 , Processed in 0.168375 second(s), 9 queries .

Powered by Discuz! X3.2

© 2001-2011 Comsenz Inc.

返回顶部