robots工具上线公告

sitemapbbs

各位网站管理员：

大家好！

百度站长平台robots工具全新上线，新上线的robots工具面向全部网站开放。网站管理员可登录百度站长平台：http://zhanzhang.baidu.com/直接使用，帮助网站管理员了解网站的robots设置情况是否正常，避免错误地封禁搜索引擎。站长可根据自己的需求设置好封禁规则，生成新的robots文件，上传到网站根目录下。还可以及时通知百度，robots文件已经进行了更新。

什么是robots.txt文件?

搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider在访问一个网站时，会首先会检查该网站的根域下是否有一个叫做 robots.txt的纯文本文件，这个文件用于指定spider在您网站上的抓取范围。您可以在您的网站中创建一个robots.txt，在文件中声明 该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。

为什么要使用robots工具

1.   避免误封禁带来的损失：

网站管理员在管理网站时，如robots文件书写不规范甚至是错误的书写，造成错误地封禁搜索引擎，网站某些目录甚至全站禁止搜索引擎抓取，给网站带来不必要的流量损失，使用robots工具可检测robots文件是否符合网站管理员的设置，避免以上损失

2.   及时通知百度“更新”：

Robots工具上线前，如网站管理员将Robots文件设置错误，但之后发现了错误进行修改，修改后的robots文件需要等待百度再次抓取时更新，这个更新生效时间难以得到保障。使用robots工具，可点击“更新”按钮，及时以最快速度通知百度进行“更新”，避免在等待更新的过程中造成的误封禁

robots工具的两个主要功能

1、 检测robots:

自动检测网站的robots文件地址，给出其中的内容解析，以及反馈此文件在百度的记录状态，帮助站长更好的了解自己的robots文件是否符合预期

2、 自动生成新的robots

为保证站长使用正确的robots文件，避免网站的抓取异常，此工具提供了自动生成robots文件的功能，站长根据自己的需求设置好封禁规则，将生成的robots文件直接上传到网站根目录下即可，如果希望百度及时更新，在工具的检测结果的后续操作中，选择更新robots文件即可

怎样使用robots工具：

第一步，注册并登录百度站长平台（http://zhanzhang.baidu.com/）
第二步，选择左侧导航栏的“通用工具——robots工具”即可

第三步，进入检测robots文件功能页面，点击“检测robots.txt”,输入网址查询后即可得到检测结果和分析，如下图所示

1.      以上页面中输入了http://www.baidu.com/，检测结果是网站下有四个目录baidu、shifen、homepage、cpro对baiduspider设置了封禁，并给出了robots文件最新更新时间为4月16日

2.      若robots内容不符合您的预期，您可选择：生成robots功能，自动生成需要的robots文件

3.      如果百度的更新与您的更改时间不符，您可选择“更新”网站的robots文件，为保证您网站数据的安全，此功能需要您先验证查询网站的归属后才能使用

第四步，如果您想自动生成需要的robots文件，点击“生成robots.txt”，设置允许抓取和不允许抓取的目录，则会自动生成一个robots,并可提供下载，下载后传至根目录即可，如下图所示

温馨提示：

1、只有当您的网站中包含不想让搜索引擎抓取的内容时，才需要使用 robots.txt 文件，如没有请勿使用robots.txt文件，避免出现误封禁。

2、当您的网站中包含不想让搜索引擎抓取的内容时，您可以使用生成robots.txt功能，按照您的需求生成正确的robots.txt文件。

3、保存生成的 robots.txt 文件后，应将文件保存到您网站的顶级目录下。robots.txt 文件必须位于域的根目录中并命名为“robots.txt”，否则会无效。