请选择 进入手机版 | 继续访问电脑版
查看: 1262|回复: 4

[网站建设] 网站url的问题

[复制链接]
发表于 2021-5-1 11:22:29 | 显示全部楼层 |阅读模式
20金币
请教各位大佬一个问题,比如我为了防止网站被别人采集 ,对每篇文章的url链接做了随机的处理,比如就是这个样子,那么对于蜘蛛的抓取来说,会不会有影响呢?

发表于 2021-5-1 13:08:18 | 显示全部楼层
放心,没啥影响。关键是,这样就能防止采集了吗?
回复

使用道具 举报

发表于 2021-5-1 22:03:50 | 显示全部楼层
要知道采集也是爬虫一回事,这个操作没多大意义,依然可以抓取。
随机会增大点采集难度,记得主动推送链接和sitemap提交,这样就可以解决抓取问题.sitemap地址藏藏好
回复

使用道具 举报

发表于 2021-5-2 15:08:49 | 显示全部楼层
没什么影响,我们网站也是这样弄
回复

使用道具 举报

发表于 2021-5-4 17:37:04 | 显示全部楼层
有,
这么做你也防止不了采集啊
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

手机版|Archiver|Baidu Inc.

GMT+8, 2021-9-29 04:57 , Processed in 0.220626 second(s), 14 queries .

Powered by Discuz! X3.2

© 2001-2011 Comsenz Inc.

返回顶部