请选择 进入手机版 | 继续访问电脑版
查看: 934|回复: 17

[站长互助] robots文本文件里加入网站地图,加速百度收录!

[复制链接]
发表于 2019-7-31 13:41:31 | 显示全部楼层 |阅读模式

  robots文本概念:这个文件主要是给搜索引擎看的,搜索引擎在进入网站时,首先会访问FTP服务器里的robots.txt文本,你需要在文本里设置推荐给搜索引擎看的网页或者目录,以及拒绝搜索引擎收录的网页或者目录(拒绝这一项是我们经常做的)。

      重要的一点:robots文本制作好后,一定是放在FTP的根目录。

      下面我们来看一下robots.txt文本的制作:

      1)手工制作(不是很难):

      1.  User-agent: *(*通配符/代表所有搜索引擎)

           Disallow: /    (否定前缀/不允许)

           Allow: /        (允许)


      2.  User-agent: baiduspider (蜘蛛名称/百度/网站日志查询)

           Disallow: /

           User-agent: googlebot (蜘蛛名称/谷歌/网站日志查询)

           Disallow: /


      3.  User-agent: *  AB

           Allow: /目录1/目录2.html(容许访问目录2中的网页)

           Disallow: /目录1/


      举例:

           User-agent: *  A邀请B来A家去玩

           Disallow: /A/  得罪B

           Allow: /目录1/目录2.html(容许访问目录2中的网页)

      4.  其他解释:

           Disallow: /?* 不要爬行以?开头的页面或者是文件夹

           Disallow: /*?* 不要爬行网站内的动态页面

   

      特别提示:目前百度的算法已经非常精明,不必再为动态、静态的事情犯愁,百度官方指南明确里面,动态和静态页面,都一样收录。


      下面是我们今天要提的重点内容:

      先看一个范例:

      User-agent: *

      Disallow: /目录1/1.html

      Disallow: /目录3/

      Disallow: /目录5/


      Sitemap: /sitemap.xml(推荐地图)

      Sitemap: /sitemap.html(推荐地图)

      将网站地图加入robots.txt文本中,可促进网页更好的收录,试想一下,搜索引擎首先看的是robots.txt文本文件,你把网站地图直接放在里面,让搜索引擎自己去点击,去看,相信比任何激发蜘蛛的方法都要好吧!

      网站收录情况很差,自己分析不出原因,不妨看看robots.txt文本这一项是否设置对了。

2) 利用工具自动创建robots.txt文本文件(非常简单):

      现在有很多站长工具类网站可以自动创建robots.txt文本,站长只需输入目录或者网页即可在线生成robots.txt文本。

      举例说明:站长robot检测



使用”*”和”$”: Baiduspider 支持使用通配符”*”和”$”来模糊匹配url。 “$” 匹配行结束符。 “*” 匹配0或多个任意字符。
robots.txt文件用法举例:
1. 允许所有的robot访问
User-agent: * Allow: / 或者 User-agent: * Disallow:
2. 禁止所有搜索引擎访问网站的任何部分
User-agent: *
Disallow: /
3. 仅禁止Baiduspider访问您的网站
User-agent: Baiduspider
Disallow: /
4. 仅允许Baiduspider访问您的网站
User-agent: Baiduspider
Disallow:
5. 禁止spider访问特定目录
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/
6. 允许访问特定目录中的部分url
User-agent: *
Allow: /cgi-bin/see
Allow: /tmp/hi
Allow: /~joe/look
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/
7. 使用”*”限制访问url
禁止访问/cgi-bin/目录下的所有以”.htm”为后缀的URL(包含子目录)。
User-agent: *
Disallow: /cgi-bin/*.htm
8. 使用”$”限制访问url
仅允许访问以”.htm”为后缀的URL。
User-agent: *
Allow: .htm$
Disallow: /
例9. 禁止访问网站中所有的动态页面
User-agent: *
Disallow: /*?*
10. 禁止Baiduspider抓取网站上所有图片
仅允许抓取网页,禁止抓取任何图片。
User-agent: Baiduspider
Disallow: .jpg$
Disallow: .jpeg$
Disallow: .gif$
Disallow: .png$
Disallow: .bmp$
11. 仅允许Baiduspider抓取网页和.gif格式图片
允许抓取网页和gif格式图片,不允许抓取其他格式图片
User-agent: Baiduspider
Allow: .gif$
Disallow: .jpg$
Disallow: .jpeg$
Disallow: .png$
Disallow: .bmp$
12. 仅禁止Baiduspider抓取.jpg格式图片
User-agent: Baiduspider
Disallow: .jpg$


本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
发表于 2019-8-5 16:44:52 | 显示全部楼层
非常有用,谢谢分享!!!
回复 支持 反对

使用道具 举报

发表于 2019-8-6 10:06:14 | 显示全部楼层
写的很好  
回复 支持 反对

使用道具 举报

发表于 2019-8-7 10:17:47 | 显示全部楼层
没有地图的也过的挺好!
回复 支持 反对

使用道具 举报

发表于 2019-8-7 11:40:20 | 显示全部楼层
请问我无法绑定我的站点 是因为我没有注册熊掌ID 吗
回复 支持 反对

使用道具 举报

发表于 2019-8-9 10:08:04 | 显示全部楼层
写的很好
回复 支持 反对

使用道具 举报

发表于 2019-8-27 11:44:30 | 显示全部楼层
在robots.txt里面添加sitemap.xml地图效果一般。
回复 支持 反对

使用道具 举报

发表于 2019-9-2 09:55:36 | 显示全部楼层
不会搞啊
回复 支持 反对

使用道具 举报

发表于 2019-9-2 11:19:10 | 显示全部楼层
网站最近会加载 idm-su.baidu.com/su_new.js 这个js,网页源码里没有,请问有人知道怎么解决吗?
回复 支持 反对

使用道具 举报

发表于 2019-9-2 15:13:01 | 显示全部楼层
谢谢分享
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

手机版|Archiver|Baidu Inc.

GMT+8, 2019-10-21 00:17 , Processed in 0.374130 second(s), 7 queries .

Powered by Discuz! X3.2

© 2001-2011 Comsenz Inc.

返回顶部