首页 > 业界 > 关键词 > 百度搜索最新资讯 > 正文

浅析,百度搜索团队,网站抓取建设指南!

2021-05-25 09:25 · 稿源:蝙蝠侠IT公众号

声明:本文来自于微信公众号 蝙蝠侠IT(ID:batmanit),作者:蝙蝠侠IT,授权站长之家转载发布。

网站不收录,可能是最近,大量SEO从业者都在讨论的一件事情,这里面不乏更多的大型行业网站,这也是为什么我们要定期解读百度官方相关公开视频的一个重要原因。

每隔一定时间周期,百度搜索资源平台,都会定期开放相关课程,我们可以清晰的看出,官方搜索团队,也在不断的由浅入深的为大家分享日常建站的相关内容。

虽然,本期内容网站抓取建设更多的在陈述一些基础性的内容,但仍然有很多细节值得我们关注。

互联网 搜索 查找

那么,百度官方网站抓取建设课程,有哪些值得关注?

根据以往针对百度蜘蛛的研究,蝙蝠侠IT,将通过如下内容阐述:

1、百度爬虫工作原理

本节内容基于搜索引擎的工作原理,百度搜索团队讲述了搜索爬虫一个基础性的抓取流程与策略,如下图:

图片

通常来讲搜索爬虫:

①优先抓取网站的首页元素。

②提取页面所有的链接,并且分析页面质量,页面主题内容被记录相关元素,反应在搜索结果中,而页面中的链接,会进一步的进行二次抓取。

③基于整站URL地址的提取,根据搜索策略,进行二次筛选,选择有价值的目标链接,进行再次抓取,反复循环操作,以最大限度的抓取整站有价值的页面。

其中值得说明的一个过程就是:

在反馈给搜索页面的时候,在这个过程中,搜索引擎是需要对网站的结构,网站的类型,网站的主题相关性进行识别。

因此,我们在建立新网站的时候,当我们试图提交给百度搜索时,我们需要确保:

①网站结构完整,简洁,具有较高的逻辑相关性。

②网站首页内容丰富,最好具有明显的时间标识。

2、如何确保网站正常抓取

根据百度搜索团队的课程,我们认为,主要包括如下几点因素:

① 网站URL规范化

所谓的URL规范化,通常来讲,主要就是指我们常见的一些URL基础性形态,一般来讲,我们通常建议大家选择伪静态的形式,一般可以是.html结尾。

常见的URL层级理论上越简单越好,比如:domain/mulu/123*.html

在这个过程中,我们尽量确保URL路径不要过长,尽量不要超过100个字符为最佳。

同时避免采用不友好的URL形态,比如:中文字符嵌入的形态,如下图:

图片

当然,这里面需要强调的就是一个参数的问题,很多网站经常会有一些广告代码追踪,亦或是访问统计的后缀标识,这对于搜索引擎来讲,虽然是相同内容,但经常会自动添加不同的来路URL地址标识,很容易被识别成重复性内容。

官方建议在使用统计数据的时候,尽量规范化标识,适当采用“?”等相关的形式。

但根据实战经验来讲,合理的使用“?”同样会造成大量恶意的理由,比如:

domain/mulu/?123*.html?【URL地址】

因此,我们建议,如果非必须启用相关的动态参数,我们尽量在robots.txt中屏蔽“?”。

② 合理发现链路

什么是链路?

简单的理解:所谓的链路就是从目标索引页,所展现的相关性页面超链接,搜索爬虫基于这些链接,可以更好的,更全面的抓取整站的页面内容。

一般来讲:一个网站的索引页面,主要包括:首页、列表页、Tag标签聚合页面。

这些类型的页面,每天都会进行大量的页面内容更新与调用。

也就是说,随着不断的运营,这些页面就像是一个种子页面,在固定周期内,每天特定时间吸引搜索引擎不断的来访抓取最新页面。

而一个良好的索引页,通常需要具备,定期更新的策略,最新的内容与文章,一般建议采用最新时间排序的策略进行展现。

这样可以辅助搜索引擎更快的发现新内容。

这里面值得强调的一个细节就是,我们新发布的内容,最好是实时同步在索引页面,这里一些需要静态手动更新,亦或是采用CDN加速的页面经常会遇到相关问题。

同时,官方建议,我们尽量不要建立大量的索引页面,这里我们给到的理解就是:

基于更新频率的策略,我们只需要保持核心索引页可以频繁的保持更新频率即可,如果大量启用不同的索引页面,而没有进行有效的内容展现,也是一种抓取资源的浪费。

③ 访问友好性

通常来讲,所谓的网站访问友好性,主要是指:

1)页面的访问速度,尽量控制在2秒以内。个人觉得可以合理启用百度CDN云加速。

2)确保DNS解析的稳定性,一般我们建议大家选择主流的DNS服务商。

3)避免页面产生大量的跳转,比如:索引页展现的链接,大量启用301,302,404类型页面。

4)避免只用技术手段,亦或是错误的操作策略封禁百度爬虫。

5)避免错误的使用防火墙,导致百度不能友好的抓取目标页面,特别是在购买一些虚拟主机的时候,需要格外注意。

6)注意网站的负载压力,比如:高质量站点,短期大量更新内容,导致同一时间节点,大量的蜘蛛访问,造成服务器加载延迟甚至卡顿的情况。

④ 提高抓取频率

我们知道想要试图提高网站的收录率,抓取频率的提升显得格外重要,通常来讲:

新站:搜索引擎更多的是在乎页面内容质量度的覆盖率。

老站:更多的是体现在页面的更新频率上。

这里面值得注意的就是:

对于企业新站而言,搜索引擎会在1-2个月的时间周期中,给予一定的流量倾斜与扶植,因此,在这个过程中,我们需要尽可能的提升内容输出质量。

从而获得较高的质量评估,这样在后期的运营过程中,才能够获得更好的展现。

一般新站上线,长期不收录的原因,主要可能是因为:内容质量不佳,内容增量覆盖行业的广度不够,为此,我们尽量避免采用伪原创和采集内容。

3、常见问题解答

① 资源提交是越多越好吗?

答:早期蝙蝠侠IT就强调,我们在使用相关数据提交渠道的时候,尽量选择优质内容提交,而尽量减少低质量页面的数据提交,如果这些页面的比例大幅度增加,很容易影响站点质量的评估。

② 普通页面提交就会收录吗?

答:链接提交给百度搜索资源平台,还需要一定时间周期的去响应排序与抓取,并不是说提交了就一定会在短期内抓取,根据不同网站的状态,一般普通收录,可能出现隔天收录的情况。

③ 外网服务器的抓取有区别对待吗?

答:基于外网的服务器存在一定服务器稳定性的因素,以及网站ICP备案识别的情况,理论上抓取策略是存在一定区别的。

④ 新站用老域名的话,是否更有优势?

答:如果老域名选择的目标网站与旧网站内容是相关性的,在初期运营阶段是存在一定帮助的,如果内容不相关,并且这个域名历史记录,出现大量不同类型的建站记录,往往可能会事的而反。

⑤ 网站蜘蛛是否有降权的蜘蛛?

答:百度蜘蛛IP段,并没有降权或者高权重一说。

⑥ 新网站不收录的主要因素有哪些?

答:企业新站如果发布的大量内容与搜索结果中现有的内容高度同质化,我们可能会降低抓取频率,甚至不收录。

总结:本次百度官方公布的网站抓取建设内容,相对详尽,基本解决站长日常的常见问题,上述内容,我们认为最为值得注意的细节就是URL的长度不要超过200字符,以及页面加载速度控制在2秒内,仅供参考。

这篇文章对你有价值吗?

  • 相关推荐
  • 大家在看
  • 百度搜索违规整顿月报

    昨日,百度搜索资源平台发布了2021年4月百度搜素违规行为整顿月报。据了解,在整顿违规站点方面,2021年4月份百度搜索共整顿3.8亿个作弊站点、智能小程序及网页,覆盖快排技术、恶劣采集、网站劫持、欺骗下载、视频作弊、小说作弊等问题。

  • SEO涉嫌不正当竞争,百度要掀搜索圈的桌子

    ​“百度一下,你就知道”这句话,或许是国内互联网行业中最有名的一个Solgan,而这八个字也道尽了百度得以在互联网江湖叱咤风云的秘诀。其能够成为“BAT”之一、并一度拥有超过千亿美元的市值,靠的就是作为互联网“水煤电”的搜索引擎。

  • 近期,百度网站排名,“稳定”与“不稳定”因素有哪些?

    网站今天有排名,过几天没排名!你是不是有点不知所措,在SEO你问我答群里的小伙伴,每天都会私信各种问题,特别是近期,不是收录问题,就是排名问题。

  • 百度电商:以搜索为始,以服务为终

    目前在抖音、快手这类没有电商基因的互联网平台内,直播带货的竞争越来越大。90%的头部主播,不论是颜值类,还是生活类或者搞笑萌宠类,都走上了直播带货之路,晚上点开你关注的主播,十个中有九个,都是在带货。

  • 4月份,百度整顿3.8亿SEO作弊点,值得注意的细节有哪些?

    我想这与你优化的策略与实操的手段有着直接的关系,特别是很多SEO从业者,经常抱怨网站排名一直停滞不前,页面基本不收录的问题。

  • 百度诉激情百度酒吧胜诉 法院:百度具有跨界经营能力

    2019年,百度公司将位于南京曼度广场内的“激情百度酒吧”,诉至南京市中院。百度公司认为,该酒吧在宣传海报、公众号等均使用“百度”及含“百度”商标,侵犯了商标专用权。

  • 百度网盘安装教程分享,电视怎么下载百度网盘?

    百度网盘是很多用户非常喜爱的一款软件,由于受限于小屏模式,百度网盘官方将于 5 月 18 日在当贝市场上线大屏版的软件。用户只需在电视端通过当贝市场下载百度网盘,就能轻轻松松使用百度网盘了。下面就是详细教程。首先用户需要准备好一个u盘,在百度上搜索当贝市场的安装包并存到u盘中。将u盘插到电视上进行安装当贝市场。一些品牌在安装当贝市场时,系统会出现一些安装失败的信息。具体安装教程,可以上当贝官网进行查看。打开

  • 百度制造“人气”

    百度以往的搜索是既定内容的发现过程,不需要人和人的连接,但百度人格化则重塑了这种连接,每个结果都是一个鲜活的人、知识提供者。

  • 百度网盘怎么在电视上使用?官方教程来了!

    百度网盘为什么没有大屏版的软件?此前不少方法都是借助第三方软件,如当贝播放器,悟空遥控器,ES文件浏览器等。不过从 5 月 18 日起,用户可从当贝市场直接下载到百度网盘大屏版的软件,真正的大屏云看片时代就要来了!百度网盘从 2019 年开始就不再是意义上的存储工具,更多用户将其作为一个款追剧、读书等功能更为强大的app。随着用户更大的需求,百度网盘如何在大屏端展示,也成了百度网盘急需解决的事情。百度网盘大屏版就是在

  • 百度沈抖:百度智能小程序是行业唯一真正开源平台

    沈抖表示:「百度从做智能小程序的第一天开始就打造真正开源开放的生态,也是目前业内唯一真正开源平台。」沈抖称希望大家都能开放、开源,让互联网能重归互联互通的状态。据统计,目前百度智能小程序已经接入69个开源联盟的合作伙伴。目前百度智能小程序月活4.2亿,入驻智能小程序数量66万,月活超百万的智能小程序233个、过亿的智能小程序6个。

  • 不该被「抛弃」的百度贴吧

    重回千亿美金市值的百度迎来了对于内容的高速渴求,短视频、直播等方面的投入从去年开始就举动频频。然而,百度自身长期持有的一块内容价值洼地却早处于“冷落”状态。

  • 百度网盘TV版来了:电视直接看盘里的大片

    今天,百度网盘宣布,百度网盘TV版将于5月18号正式发布,全面打通电视端与移动端!以往,用户先要在电视上观看百度网盘的里视频,需要电视或盒子支持DLNA或AirPlay协议,并将手机与电视、盒子连在同一局域网下,才能将视频投射到电视上观看。而安装了百度网盘TV版之后,那些存在云端的文件,打开电视就能看到了。手机屏幕再大,也远没有电视视听那样的视听体验。尤其是在影音娱乐、多人会议等场合下,大屏演示、大空间沉浸式互动才

  • 百度登记汽车络安全运营平台

    近日,北京百度网讯科技有限公司新增一条软件著作权登记信息,软件全称为“汽车网络安全运营平台”,简称“ApolloVSOC”,登记号2021SR0632440,当前版本号为V1.0。

  • 百度网盘怎么在电视上使用?分享两种简单方法

    不少用户一直期待百度网盘能够在电视上使用。今天就教大家如何在电视端使用百度网盘。方法一:百度网盘在电视端下载好当贝市场,并在当贝市场的搜索功能中收入【BDWY】找到百度网盘后进行安装,完成安装后,即可在电视上使用百度网盘。据悉,百度网盘将于5月18日上线当贝市场,届时电视用户也能在电视上使用百度网盘轻松观影了。方法二:当贝播放器在当贝市场中下载当贝播放器打开当贝播放器,在软件的左侧有一个【网络】的入口,选择百度网

  • 百度网盘出现短暂“文件丢失”情况 现已修复

    5月11日下午14点,有多名网友反馈称,百度网盘出现了短暂的文件丢失”情况,用户访问网盘之后之前所存储的文件均消失”,而且分享的文件也无法正常访问。对此,百度网盘刚刚回应称:您好,问题已经进行修复,请您再次体验。如有问题请再次反馈。感谢您对百度网盘的支持!”百度网盘方面并未透露是何原因,好在修复及时,对用户的影响不算太大。其实,如果文件正规,完全不用担心文件丢失功能,因为百度网盘会对文件进行多重备份,?

  • 友反馈百度网盘出现短暂“文件丢失”情况 现已修复

    根据微博多名网友的反馈,在今天下午百度网盘出现了短暂的“文件丢失”情况,用户访问网盘之后之前所存储的文件均“消失”,而且分享的文件也无法正常访问,甚至于部分用户反馈百度网盘网页、APP也无法正常打开。不过随后用户反馈在多次刷新之后已经恢复正常。

  • 百度整顿了3.8亿个点后,究竟发生了什么让长们睡不着觉!“大清亡了”

    自从百度发了一张整顿海报后,再也没有看到关于百度算法更新的最新消息,另外,混迹在各个qq群、微信群的站长们,一改往事作风,不再讨论行业相关信息,反而谈的更多的是基金、投资、房产相关信息,不知道站长们到底是彻底看清了现实,还是麻木自己找点其他话题来扭转自己那种不安的心。

  • 迅雷磁力链接怎么使用 百度网盘前缀开头是什么

    百度网盘和迅雷是日常多数人常用的两种下载软件,这两种下载方式都经常会用到他们的特定下载链接地址,那么迅雷的磁力链接和百度网盘的下载地址开头分别是什么呢,我们来一起看下。

  • 传闻百度将推出独立视频剪辑产品“咔剪辑”

    如今短视频创作者数量大增,也带动了视频剪辑软件的火爆。在手机上视频剪辑的门槛已经大大降低,很多人都可以利用手机剪辑软件简单剪出一个效果不错的视频。

  • 什么是平均排名,为什么百度后台排名位置不准?

    ​在做SEO的过程中,针对排名监控是一个常态化的工作,在很长时间里,我通常都会根据页面的关键词排名,进行审查自己现阶段的工作状态。通常有的时候,我们偶尔会格外的关注一下页面的平均排名,它可能更加客户的反应你的SEO操作是否有的放矢。

  • 热门标签

热文

  • 3 天
  • 7天