请选择 进入手机版 | 继续访问电脑版
查看: 203|回复: 9

[其他] 求助robots的一些问题!

[复制链接]
发表于 6 天前 | 显示全部楼层 |阅读模式
网站想屏蔽某个目录不被抓取,但是目录下面的内容希望被抓取。正确写法是什么样的.
网站地址结构是这样的
首页 www点xx点c om
栏目 www点xx点c om/abc/
内容 www点xx点c om/abc/fff/

我要屏蔽不让抓取 abc这个栏目.下面这样写.
Disallow:/abc/


但是我还想他抓取这个栏目下的 内容 该怎么写才正确
Allow:/abc/*




求教大神指点!再次先谢了!
 楼主| 发表于 6 天前 | 显示全部楼层
大神呢~~求助!!!
回复 支持 反对

使用道具 举报

发表于 6 天前 | 显示全部楼层
这URL都是以文件夹形式命名的……请恕我才疏学浅救不了你
回复 支持 反对

使用道具 举报

发表于 6 天前 | 显示全部楼层
Disallow: /abc/$

解释:屏蔽单个页面   可用美刀来结尾

回复 支持 反对

使用道具 举报

 楼主| 发表于 6 天前 | 显示全部楼层
小七有话说ok 发表于 2017-12-7 18:10
Disallow: /abc/$

解释:屏蔽单个页面   可用美刀来结尾

Disallow: /abc/$ 屏蔽的栏目页
如果栏目下面的内容需要被抓起,是否这样
Allow:/abc/$

点评

如果担心。 可以加上 Allow:/abc/*  详情 回复 发表于 6 天前
直接这样即可。不会影响栏目以下的抓取  详情 回复 发表于 6 天前
回复 支持 反对

使用道具 举报

发表于 6 天前 | 显示全部楼层
这个不行  还是得慢慢来的
回复 支持 反对

使用道具 举报

发表于 6 天前 | 显示全部楼层
诺丁山的疯子 发表于 2017-12-7 21:18
Disallow: /abc/$ 屏蔽的栏目页
如果栏目下面的内容需要被抓起,是否这样
Allow:/abc/$

直接这样即可。不会影响栏目以下的抓取
回复 支持 反对

使用道具 举报

发表于 6 天前 | 显示全部楼层
诺丁山的疯子 发表于 2017-12-7 21:18
Disallow: /abc/$ 屏蔽的栏目页
如果栏目下面的内容需要被抓起,是否这样
Allow:/abc/$

如果担心。
可以加上
Allow:/abc/*
回复 支持 反对

使用道具 举报

 楼主| 发表于 5 天前 | 显示全部楼层
小七有话说ok 发表于 2017-12-7 22:22
如果担心。
可以加上
Allow:/abc/*

Disallow: /abc/$
Allow:/abc/*
大神 正确方法就这样?
回复 支持 反对

使用道具 举报

发表于 5 天前 | 显示全部楼层
不抓取目录页面蜘蛛怎么发现目录下面的内容链接呢。
本来可以用这段代码最合适 <META NAME="ROBOTS" CONTENT="NOINDEX,FOLLOW">
但是百度可能不支持noindex.
noarchive 可以禁止快照,但是还是会索引。
不知道楼主的目的是什么所以随便乱说了一通。
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

手机版|Archiver|Baidu Inc.

GMT+8, 2017-12-13 05:33 , Processed in 0.177644 second(s), 13 queries .

Powered by Discuz! X3.2

© 2001-2011 Comsenz Inc.

返回顶部