立即注册 登录
百度站长社区 返回首页

阿是SEO自媒体www.usseo.cn 欢迎 ... http://bbs.zhanzhang.baidu.com/?323886 [收藏] [复制] [分享] [RSS]

日志

分享 robots.txt文件写法 robots对照表
2016-9-28 09:20
  robots.txt文件十分重要!搜索引擎蜘蛛爬到网站首先访问的就是robots.txt文件,robots是搜索引擎的一个协议,告诉蜘蛛哪些该抓那些不能抓。本文提供robots对照表,小白也可以自己写robots.txt文件。   robots.txt文件   robots规则说明:   *代表所有的意思   User-agent   爬虫抓取时会声明自己的身份 ...
94 次阅读|0 个评论

手机版|Archiver|Baidu Inc.

GMT+8, 2020-9-19 02:21 , Processed in 0.195706 second(s), 13 queries .

Powered by Discuz! X3.2

© 2001-2011 Comsenz Inc.

返回顶部