请选择 进入手机版 | 继续访问电脑版
查看: 9282|回复: 124

[网站优化] 线上公开课 网站抓取建设指南 内容整理

  [复制链接]
发表于 2021-9-14 17:02:28 | 显示全部楼层 |阅读模式
蜘蛛抓取原来大部分老站长都是知道的,课程后面有一些问答,感觉更多站长比较关注的。
视频回看地址:http://live.baidu.com/m/media/pc ... 794798&source=h5pre
------正文-----

1、百度爬虫工作原理
游客,如果您要查看本帖隐藏内容请回复
2、抓取友好性优化
·URL规范
游客,如果您要查看本帖隐藏内容请回复
·合理发现链路
游客,如果您要查看本帖隐藏内容请回复
Q:资源提交是不是越多越好?
游客,如果您要查看本帖隐藏内容请回复
Q:为什么提交了普通收录但没有抓?
游客,如果您要查看本帖隐藏内容请回复

·访问友好性
抓取器和网站要进行交互,要保证服务器稳定。

访问速度优化
两个建议,第一点 加载时间,建议控制在两秒以内加载,会有一定程度的优待。
第二点 避免非必要的跳转,而且多级跳转也会影响加载速度。

规范http返回码

301/302区别?正确使用 404的返回码?
--DNS解析:建议中文网站尽可能使用国内大型服务商提供的DNS服务,以保证站点的稳定解析,有些dns服务商尤其是国外的,可能会封禁国内解析请求。
20210521160556[00_28_52][20210913-160447].png

--爬虫封禁︰
·慎重使用技术手段封禁爬虫抓取
·期望搜索引擎不展现特定资源(不想让蜘蛛爬取特定资源):建议采用robots屏蔽方式
·期望限制爬取频率(蜘蛛爬取量过多):建议通过资源平台工具设置
·警惕误封禁,例如第三方防火墙服务封禁爬虫访问

--服务器负载稳定︰
·特别在短时间内大量提交优质资源后,关注服务器稳定,真的很优质且量大的内容,蜘蛛爬取频次会很高的。

.百度爬吧虫识别


抓取频次的高低和网站收录是否有联系?
游客,如果您要查看本帖隐藏内容请回复



问答环节

新站会不会有固定的抓取次数?
游客,如果您要查看本帖隐藏内容请回复

如何让百度知道你是一个新建的站点?
游客,如果您要查看本帖隐藏内容请回复

每个站点蜘蛛的抓取配会不会有调整?大约多久会调整一次?有没有固定时间?
游客,如果您要查看本帖隐藏内容请回复


网站将网站降权能否恢复?
游客,如果您要查看本帖隐藏内容请回复

新站点是否有考核期?
游客,如果您要查看本帖隐藏内容请回复

百度对于国外服务器和国内的服务器是否会有区别对待?
游客,如果您要查看本帖隐藏内容请回复


如果新站用一个老域名,会不会比用新域名更有优势?
游客,如果您要查看本帖隐藏内容请回复


同一篇文章站内URL跟百度收录的URL不一样,收录的URL是404?
详细链接和关键词反馈。

蜘蛛是否有权重IP之分?
游客,如果您要查看本帖隐藏内容请回复

网站最近不收录有没有建议?
游客,如果您要查看本帖隐藏内容请回复


往期内容:
七月站点诊断,个人经验解释并分享
2020年8月线上公开课:优质内容指南解读整理
2020年10月线上公开课:搜索常见问题解决指南整理
2020年9月搜索基础知识合集内容整理



发表于 2021-9-14 17:08:50 | 显示全部楼层
干货满满,辛苦版主大人了,学习中
回复 支持 反对

使用道具 举报

发表于 2021-9-14 17:16:59 | 显示全部楼层
不错不错!
回复 支持 反对

使用道具 举报

发表于 2021-9-14 17:30:53 | 显示全部楼层
回复 支持 反对

使用道具 举报

发表于 2021-9-14 17:38:02 | 显示全部楼层
不清楚
回复 支持 反对

使用道具 举报

发表于 2021-9-14 17:51:48 | 显示全部楼层
学习学习了
回复 支持 反对

使用道具 举报

发表于 2021-9-14 18:12:18 | 显示全部楼层
干货满满,辛苦版主大人
回复 支持 反对

使用道具 举报

发表于 2021-9-14 18:15:19 | 显示全部楼层
刚刚发的啊!
回复 支持 反对

使用道具 举报

发表于 2021-9-14 18:18:44 | 显示全部楼层
我要看一下!
回复 支持 反对

使用道具 举报

发表于 2021-9-14 18:24:46 | 显示全部楼层
最勤劳的版主
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

手机版|Archiver|Baidu Inc.

GMT+8, 2021-11-30 09:18 , Processed in 0.311312 second(s), 18 queries .

Powered by Discuz! X3.2

© 2001-2011 Comsenz Inc.

返回顶部