请选择 进入手机版 | 继续访问电脑版
查看: 2325|回复: 3

新手求助:您的Robots文件已生效 是什么意思?谢谢

[复制链接]
发表于 2021-4-13 12:00:24 | 显示全部楼层 |阅读模式
新手求助:您的Robots文件已生效 是什么意思?谢谢
发表于 2021-4-13 12:15:22 | 显示全部楼层
网站存在robots.txt文件。
使用过百度站长平台的robots工具(ziyuan.baidu.com/robots/index)
因此会提示“您的Robots文件已生效”,说明robots.txt文件规则百度已经知晓并更新。

robots.txt文件告诉搜索引擎的蜘蛛网站的哪些页面可以被抓取,哪些页面不可以被抓取。
回复 支持 反对

使用道具 举报

发表于 2021-4-13 13:40:54 | 显示全部楼层
意思就是robots生效了,该文件的主要作用就是告诉搜索引擎哪些页面不想被抓取
回复 支持 反对

使用道具 举报

发表于 2021-4-13 18:30:33 | 显示全部楼层
你设置的robots规则生效了,百度会遵守你设置的规则,对于不希望抓取的内容给与屏蔽抓取,

站点通过robots文件声明本网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。
如果希望全站都收录,可以不设置robots文件
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

手机版|Archiver|Baidu Inc.

GMT+8, 2022-1-17 13:11 , Processed in 0.341803 second(s), 15 queries .

Powered by Discuz! X3.2

© 2001-2011 Comsenz Inc.

返回顶部