请选择 进入手机版 | 继续访问电脑版
查看: 13947|回复: 5

[学习讨论] 《禁止搜索引擎收录的方法》讨论帖

[复制链接]
发表于 2015-7-26 23:10:41 | 显示全部楼层 |阅读模式

      搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider在访问一个网站时,会首先会检查该网站的根域下是否有一个叫做 robots.txt的纯文本文件,这个文件用于指定spider在您网站上的抓取范围。您可以在您的网站中创建一个robots.txt,在文件中声明 该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。               


      学院原文在此http://zhanzhang.baidu.com/college/articleinfo?id=37


     欢迎大家讨论robots你是怎么写的,会不会有robots无效的情况

发表于 2015-10-20 10:03:19 | 显示全部楼层
有没有办法不用robots.txt,就可以禁止百度抓取?比如百度后台提交申请。别说闭站申请,不能关站的。
回复 支持 反对

使用道具 举报

发表于 2015-12-16 22:19:26 | 显示全部楼层
不支持<meta name="robots" content="noindex">这样的写法,真的很蛋疼...
回复 支持 反对

使用道具 举报

发表于 2015-12-16 22:20:22 | 显示全部楼层
求一个通过代码中声禁止收录当前页面的办法...
回复 支持 反对

使用道具 举报

发表于 2016-7-4 13:59:52 | 显示全部楼层
一直觉得 robots 鸡肋。。。不知道修改后什么时候生效。。。。
回复 支持 反对

使用道具 举报

发表于 2017-4-14 01:21:10 | 显示全部楼层

多城市版程序
我想屏蔽所有总站形式的链接 禁止百度抓取
但是必须不影响其他二级域名的抓取
应该如何实现?
robots.txt是否支持这种写法?
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

手机版|Archiver|Baidu Inc.

GMT+8, 2017-6-28 18:37 , Processed in 0.183717 second(s), 13 queries .

Powered by Discuz! X3.2

© 2001-2011 Comsenz Inc.

返回顶部