请选择 进入手机版 | 继续访问电脑版
查看: 11895|回复: 24

站长工具问题反馈(死链接提交和抓取异常问题)

[复制链接]
发表于 2014-8-19 10:23:23 | 显示全部楼层 |阅读模式
问题描述:由于网站进行较大的改版,所以申请了闭站保护,网站于7月14日改版完成,并申请恢复抓取,然后7月15日上传网站死链接sitemap,之后就开试了每七天一次的审核,每次都是显示如下如所示,(最重要的是需要把网站的排名恢复啊,你这一直不通过,我这网站就一直没有任何排名!!):

后来发现在网站抓取异常工具中有大量404页面链接出现。查看提供的前2000条发现,只有前5页是改版前产生以及12年改版时被删除的页面还保存在百度的索引库中,由于时间太多久远,已经无法给前面这两种类型制作死链接sitemap了,但是从第5页往后的这些404页面链接全是我在7月15日提交的死链接sitemap中的链接,前2000个404链接中,我于7月15日提交的死链接sitemap包含了大概有1500条左右,但是不知道为什么百度一直不删除我提交的死链接sitemap中的链接。就是一直提示我死链接很多,如图

提交的死链接sitemap设置成了每天更新,如图:


而且最近还发现一个问题,网址异常工具对我的网站不更新了,一直显示8月10号的网址异常数据,这9天一直都是“404 (错误页面数量:6949)”,没有任何变化……


现在已经尝试各种办法,都行不通,希望@man_hok 或者其他大神能帮助解答一下,或者给个解决办法,十分感谢



本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x

评分

参与人数 1金币 +1 收起 理由
关键四号3 + 1 冒险岛私服 bbs.mgxsfm.com

查看全部评分

发表于 2014-8-19 11:33:02 | 显示全部楼层
本帖最后由 fansart 于 2014-8-19 11:35 编辑

我来解答一下你的问题, 主要是你改版后的死链比较多, 影响用户和搜索引擎体验, 所以百度会保护性的闭站.
解决的方法: 找出并提交删除这些死链, 因为百度只是抽样检测, 并不会列出所有的死链, 所以这些死链还是要站长自己找出来.


我大概看了一下你这些死链都是同一个格式的, 只是id不同而已, 要找出这些死链也比较容易, 给你说一下解决方法:
php可以用 get_header('http://xxxxx.com/28-***.html'); 逐条扫描, 只要返回404的就记录下来, 找出来后提交死链后问题解决.

备注: 如果这些死链是因为改版原因造成的, 原文章还在只是改变了url, 我的建议是301到新的url, 这样既避免了损失又不会影响正常开启闭站.
回复 支持 反对

使用道具 举报

 楼主| 发表于 2014-8-19 11:43:57 | 显示全部楼层
fansart 发表于 2014-8-19 11:33
我来解答一下你的问题, 主要是你改版后的死链比较多, 影响用户和搜索引擎体验, 所以百度会保护性的闭站.
解 ...

一看就是没有仔细看我的问题……
我这大部分的死链接都是已经提交过了,但是百度还是一直显示在抓取异常中的

点评

首先说实话,你描述问题的时候,我都没弄清你的重点疑问,建议下次分步骤列出问题,如问题标题、问题中心概括、问题截图文字等描述,虽然相同站长工具,但毕竟每个人理解问题及遇到的问题角度不一样。 建议: 1、关  详情 回复 发表于 2014-8-19 11:55
回复 支持 反对

使用道具 举报

发表于 2014-8-19 11:46:51 | 显示全部楼层
本帖最后由 fansart 于 2014-8-19 12:01 编辑
twwtn0 发表于 2014-8-19 11:43
一看就是没有仔细看我的问题……
我这大部分的死链接都是已经提交过了,但是百度还是一直显示在抓取异常 ...

大量的死链, 百度能不提示异常吗?
抓取异常返回404不是百度的问题,  返回码是你服务器对ua的一个反应, 应该是你程序或服务器问题, 另外就是百度给你列出了的404是否是存在的, 如果是存在的那么你的疑问是什么?

百度有抓取诊断工具, 你可以用诊断工具查看是否正常.

如果你把所有的404都提交删除了, 那么百度需要处理完你提交的死链才会给你开启的.

不开启我认为是对站点的保护,  如果站点中大量404百度放出来后影响用户体验和百度蜘蛛的正常抓取反而对网站不利.
回复 支持 反对

使用道具 举报

发表于 2014-8-19 12:48:42 | 显示全部楼层
本帖最后由 lvxianlei2010 于 2014-8-19 12:57 编辑
twwtn0 发表于 2014-8-19 12:01
我的问题是: 现在百度抓取异常中提示的404链接,大部分都是我在7月15日提交的死链接sitemap中,但是百度 ...

网址异常工具如果经过2、3两步还有,那么就是这个工具的问题,到时再反馈给百度。不要纠结于为什么抓取异常一直显示。找到你网站上存在死链接的页面,把这些页面上的死链或错误链(重定向到其他页面)都清理掉,避免蜘蛛再爬行。外部平台上你们推广的页面上的链接到你们网站的死链及错误链能清理的也清理下。你们这么多文章页需要删,都是违法信息?或者都是采集信息?直接闭站保护,这个过程感觉处理逻辑上有点问题,要对症下药,多想几套解决方案。
回复 支持 反对

使用道具 举报

发表于 2014-8-19 11:55:28 | 显示全部楼层
本帖最后由 lvxianlei2010 于 2014-8-19 11:56 编辑
twwtn0 发表于 2014-8-19 11:43
一看就是没有仔细看我的问题……
我这大部分的死链接都是已经提交过了,但是百度还是一直显示在抓取异常 ...

首先说实话,你描述问题的时候,我都没弄清你的重点疑问,建议下次分步骤列出问题,如问题标题、问题中心概括、问题截图文字等描述,虽然相同站长工具,但毕竟每个人理解问题及遇到的问题角度不一样。
建议:
1、关于大部分死链接已经提交,建议你按fansart 提供的方法尽量抓全,不要遗漏;
2、关于你说网址异常工具一直提醒,从我个人及其他人使用的经验来说,有些站长工具有时候确实会出现一些问题,不过建议你分批次提交按日期命名的死链接文档,然后查看死链接处理工具提示的“死链删除状态”,删除ok,把之前的死链接文档删掉,再重新提交新日期的死链接文档。网址异常工具的情况,由于属于数据再调用,所以和死链接工具有可能数据延迟等情况发生,自己及时关注死链接工具状态,死链接提交到最后都清理完毕了,过一周左右再看网址异常工具。
3、有一点还是很重要的,找到你网站上存在死链接的页面,把这些死链或错误链(重定向到其他页面)都清理掉,避免蜘蛛再爬行,网址异常工具如果经过2、3两步还有,那么就是这个工具的问题,到时再反馈给百度
回复 支持 反对

使用道具 举报

 楼主| 发表于 2014-8-19 12:01:55 | 显示全部楼层
fansart 发表于 2014-8-19 11:46
你大量的死链, 百度能不提示异常吗?
抓取异常返回404不是百度的问题,  返回码是你服务器对ua的一个反应,  ...

我的问题是: 现在百度抓取异常中提示的404链接,大部分都是我在7月15日提交的死链接sitemap中,但是百度一直不删除,一直显示在抓取异常中

点评

网址异常工具如果经过2、3两步还有,那么就是这个工具的问题,到时再反馈给百度。不要纠结于为什么抓取异常一直显示。  详情 回复 发表于 2014-8-19 12:48
回复 支持 反对

使用道具 举报

发表于 2014-8-19 12:05:55 | 显示全部楼层
本帖最后由 fansart 于 2014-8-19 12:07 编辑
twwtn0 发表于 2014-8-19 12:01
我的问题是: 现在百度抓取异常中提示的404链接,大部分都是我在7月15日提交的死链接sitemap中,但是百度 ...

你能把提交删除的状态截图看一下吗? 提交了多久了, 更新频率是多少, 提交什么格式的死链表?

还有千万不用用robots屏蔽死链, 不然没有删除状态.

删除死链的速度和你网站得到的配额有关, 也就是众多站长所谓的权重, 一般的周期是4天以上. 只要有进度就耐心等等.
回复 支持 反对

使用道具 举报

发表于 2014-8-19 12:10:42 | 显示全部楼层
其实我有个疑问, 网站改版造成的这么多404是因为原文章删除了吗?   

如果只是换了目录建议301到新的目录上并在百度站长工具提交改版.
如果真是删除了这么多有用的文章挺可惜的.
回复 支持 反对

使用道具 举报

 楼主| 发表于 2014-8-19 13:43:06 | 显示全部楼层
fansart 发表于 2014-8-19 12:05
你能把提交删除的状态截图看一下吗? 提交了多久了, 更新频率是多少, 提交什么格式的死链表?

还有千万不 ...

一直显示这个,我是7月15日提交的,更新频率是1天。txt文件


死链接提交成功截图

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

手机版|Archiver|Baidu Inc.

GMT+8, 2019-10-21 18:45 , Processed in 0.575743 second(s), 8 queries .

Powered by Discuz! X3.2

© 2001-2011 Comsenz Inc.

返回顶部