请选择 进入手机版 | 继续访问电脑版
查看: 1217|回复: 2

[问答中心] 内容页文章收录很慢,然后我把内容页目录的添加到Robots

[复制链接]
发表于 2020-7-1 09:18:14 | 显示全部楼层 |阅读模式
内容页文章收录很慢,然后我把内容页目录的添加到Robots,现在反而不收录了怎么回事

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
发表于 昨天 15:01 | 显示全部楼层
收录快慢与robots里面允许抓取没有什么关系的。

建议多关注:

1、抓取频率,每次抓取耗时;
2、提升页面性能和内容质量。
回复 支持 反对

使用道具 举报

发表于 26 分钟前 | 显示全部楼层
这其实没什么关系,一般只有大网站像淘宝用Allow,允许抓取哪些栏目,并不会说提高收录的情况。
robots协议本质上还是告诉蜘蛛哪些能抓,哪些不能抓
蜘蛛可以遵循也可以不遵循
有很多网站就没有robots协议,收录还是很好
总结来说收录不在于robots
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

手机版|Archiver|Baidu Inc.

GMT+8, 2021-4-10 19:15 , Processed in 0.297980 second(s), 16 queries .

Powered by Discuz! X3.2

© 2001-2011 Comsenz Inc.

返回顶部