关于“最近浏览”这功能提供的页面，蜘蛛会抓取吗？

耳朵的水2 · 发表于 2013-7-26 18:04:18

现在很多购物网站都利用COOKIE或者SEESION记录用户浏览了哪些商品，并列在当前页面的某个位置。我们都知道，蜘蛛是顺着链接抓取的，会不会出现以下情况：
1.蜘蛛第一次爬取商品A页面，发现“最近浏览”功能框中出现当前商品，利用链接爬取N次发现是本身链接，放弃此页面收录
2.蜘蛛通过商品A页面跳转到商品B页面，如果是正常用户访问，商品B页面显示了“最近浏览”里面有商品A的链接还有链接B的链接。但不知道蜘蛛会不会发现“最近浏览”栏目的链接？

达人IT · 发表于 2013-9-30 14:55:00

spider 不支持 cookie和seesion

[网页收录] 关于“最近浏览”这功能提供的页面，蜘蛛会抓取吗？