请选择 进入手机版 | 继续访问电脑版
查看: 2855|回复: 5

[网站建设] 老域名有很多收录,蜘蛛只抓取旧的内容,能不能301到首页

[复制链接]
发表于 2021-1-12 14:06:58 | 显示全部楼层 |阅读模式
50金币
域名是买的,有很多栏目,比如/gptt/**.html,/gpxw/***.html,/tag/***.html,能不能统一把这些栏目及内容页全部301到首页,增加首页的权重,和首页蜘蛛的爬取。 QEEW}B}(4F{X80L[J`)FB.png
请问下这样怎么写301规则,有没有大佬教一下或给个案例

发表于 2021-1-13 11:26:43 | 显示全部楼层
404,这边链接是旧的,应该打不开了吧?直接404跳到首页不就得了
回复

使用道具 举报

发表于 2021-1-18 21:22:32 | 显示全部楼层
我的网站改派之后也这样 都提交死连给百度了 还是一致收录原来的URL 快半年了还收录原来的URL 这就很烦  把原来的路径加到 robots.txt 里都没有用  问了客服 客服说等就好了  我就呵呵  呵呵了 也许真的只能等等了 百度太念旧了
回复

使用道具 举报

发表于 2021-1-18 21:59:23 | 显示全部楼层
日常顶帖
回复

使用道具 举报

发表于 2021-4-6 17:29:57 | 显示全部楼层
不能全部301到首页,对于早期存在的无效链接,有2中处理方式:

1、在robots文件屏蔽旧地址,确保能正确返回404,并向百度提交死链接;
2、如果要保留旧的URL链接,这样旧的URL就会是内容更新,向百度提交URL更新后的内容等待快照更新即可。
回复

使用道具 举报

发表于 2021-4-6 18:24:52 | 显示全部楼层
内页301到首页,我不知道这样做的意义是什么,给两个解决方案:

①做404页面

从你的截图中看得出来,日志中http状态码出现499错误,这种情况是nginx反代到一个永远打不开的后端,就会这样了,日志状态记录是499,发送字节数是0。

这样的话,建议你做个404模板,当用户进到这个URL时,告诉它页面丢失了,至于怎么做404页面优化,可以参考下58同城。

②URL不变,增加内容

经过实战测试后发现,即使内容提交了404,在站长资源后台也提交了死链接,结果这个链接还是持续不断有蜘蛛来抓爬。

我们可以利用起来这个网页,URL不变,重新做好内容,这样对搜索引擎的友好度是最好的。



回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

手机版|Archiver|Baidu Inc.

GMT+8, 2021-12-6 14:26 , Processed in 0.313732 second(s), 17 queries .

Powered by Discuz! X3.2

© 2001-2011 Comsenz Inc.

返回顶部