请选择 进入手机版 | 继续访问电脑版
查看: 50826|回复: 11

[网站建设] 禁止其它栏目被新闻源收录的最佳办法是什么?

[复制链接]
发表于 2015-8-6 16:02:35 | 显示全部楼层 |阅读模式
本帖最后由 rrrrfcu 于 2015-8-6 16:59 编辑

收到站长提问:禁止其它栏目被新闻源收录的最佳办法是什么?
 楼主| 发表于 2015-8-6 16:06:13 | 显示全部楼层
本帖最后由 rrrrfcu 于 2015-8-6 17:05 编辑

官方回答:robots禁止。
在robots.txt中,设置百度新闻蜘蛛只允许抓取新闻栏目。
回复 支持 反对

使用道具 举报

发表于 2015-8-25 15:53:16 | 显示全部楼层
robots.txt里面原来加句   
User-Agent: Baiduspider-news
Disallow: /
可以禁止百度新闻收录   现在百度蜘蛛新闻Baiduspider-news估计取消了 不管用了
只能连Baiduspider一起禁止才行  求解 Baiduspider-news 是否变更了
回复 支持 反对

使用道具 举报

发表于 2015-8-25 14:39:40 | 显示全部楼层
rrrrfcu 发表于 2015-8-6 16:06
官方回答:robots禁止。
在robots.txt中,设置百度新闻蜘蛛只允许抓取新闻栏目。 ...

最大的问题是  禁止了  拿百度收录咋办   有具体的规则吗
回复 支持 反对

使用道具 举报

发表于 2015-8-26 10:10:30 | 显示全部楼层
rrrrfcu 发表于 2015-8-6 16:06
官方回答:robots禁止。
在robots.txt中,设置百度新闻蜘蛛只允许抓取新闻栏目。 ...

简单直接,简单粗暴
回复 支持 反对

使用道具 举报

发表于 2015-8-26 17:09:33 | 显示全部楼层
不让那个栏目收入 禁止那个栏目不就可以了

点评

问题是现在百度新闻源蜘蛛的ua不明确,不知道到底是哪个,是之前那个还是换了其他的,官方没有给出明确说明,就没法设置  详情 回复 发表于 2015-8-28 08:36
回复 支持 反对

使用道具 举报

发表于 2015-8-27 17:56:15 | 显示全部楼层
为什么要禁止呢
回复 支持 反对

使用道具 举报

发表于 2015-8-28 08:36:22 | 显示全部楼层
seokoog 发表于 2015-8-26 17:09
不让那个栏目收入 禁止那个栏目不就可以了

问题是现在百度新闻源蜘蛛的ua不明确,不知道到底是哪个,是之前那个还是换了其他的,官方没有给出明确说明,就没法设置
回复 支持 反对

使用道具 举报

发表于 2015-8-28 09:08:30 | 显示全部楼层
我也有此问,百度新闻源Baiduspider-news蜘蛛只管在news.baidu.com被抽取,而不管出现在最新相关信息里
回复 支持 反对

使用道具 举报

发表于 2018-6-11 13:40:30 | 显示全部楼层
学习了这样啊
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

手机版|Archiver|Baidu Inc.

GMT+8, 2018-10-21 05:25 , Processed in 1.562624 second(s), 17 queries .

Powered by Discuz! X3.2

© 2001-2011 Comsenz Inc.

返回顶部