ever非你不爱 发表于 2016-2-23 09:35 织梦的吧,理论上来讲,你的这个URL完全超越了3层,因为按照层级来说,你a文件夹属于一个层级,gushi是下一 ...
使用道具 举报
fighting菜鸟 发表于 2016-2-23 09:51 所以爬虫认为的层级就是URL上的层级,而与该URL在网站的位置没有关系吗
Olny_For_You 发表于 2016-2-23 10:19 对于抓取来说,URL是没有关系的,你URL再长,只要从首页点击到内页的步骤越少就越容易被收录,但是收录之后 ...
本版积分规则 发表回复 回帖后跳转到最后一页
手机版|Archiver|Baidu Inc.
GMT+8, 2021-1-19 12:03 , Processed in 0.180473 second(s), 14 queries .
Powered by Discuz! X3.2
© 2001-2011 Comsenz Inc.