请选择 进入手机版 | 继续访问电脑版
查看: 455|回复: 2

[网站建设] robots设置只抓取指定目录和首页

[复制链接]
发表于 2021-8-12 16:15:30 | 显示全部楼层 |阅读模式
20金币
之前发帖子说百度蜘蛛大量抓取不存在页面,
现在已确定是对手恶意引导百度蜘蛛抓取不存在页面

虽然百度识别出了都是无效页面,但大量的抓取严重影响了服务器性能,

因此通过robots设置只允许百度蜘蛛抓取指定的目录和首页,来解决这个问题。

现在问题如下:
【这样设置百度会抓取首页吗?这样设置robots是正确的吗?】
网址的首页是.com结尾  不带任何后缀不带.html
robots如下:
屏幕截图 2021-08-12 161038.png




屏幕截图 2021-08-12 161038.png
 楼主| 发表于 2021-8-12 16:27:12 | 显示全部楼层
改成这样了:
User-agent: Baiduspider
Allow: /news
Allow: /xm
...
Disallow: /
User-agent: *
Allow: /
Disallow: /ajax/
Disallow: /news/index/ajax/
回复

使用道具 举报

发表于 前天 18:59 | 显示全部楼层
可以 在站长后台更新一下robots;
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

手机版|Archiver|Baidu Inc.

GMT+8, 2021-10-26 18:06 , Processed in 0.302027 second(s), 17 queries .

Powered by Discuz! X3.2

© 2001-2011 Comsenz Inc.

返回顶部