首页 > 优化 > 关键词 > 网站优化最新资讯 > 正文

百度是如何判断网页文章重复度的?

2016-05-26 17:08 · 稿源:米大白的网站

在这个科技高度发达的时代,百度已经成为人们能获取消息的主要途径。但如今的百度,到处充斥着一些重复的内容,对用户的访问造成很大的困扰。因此,百度需要对网页重复进行判断,对重复的网页,只选取一些高质量的我那工业,共用户浏览。然而,现有技术中一般是通过比较两个页面的内容和借点,来确认两个页面的相似度。

这种方法能够计算的比较准确,可时间复杂度太高,计算很费时间。通过对一个页面中的某些重要信息进行签名,然后比较两个页面的签名,来计算相似度,这种方式比较简单高效,计算速度比较快,比较适合百度这种海量信息的应用场景。

1,网站重复内容的判断

A,获取多个网页;

B,分别提取网页的网页正文;

C,从网页正文中提取一个或多个句子,并根据一个或多个句子计算网页正文句子签名;

D,根据网页正文句子签名对多个网页进行聚类;

E,针对每一类下的网页,计算网页的附加签名;

F,根据附加签名判断每一类下的网页是否重复。

通过上述方式,网页重复的判断系统及其判断方法通过包括网页正文句子签名在内的多维度签名有效且快速地判断网页是否重复。

网页基本架构图

提取正文

A,对网页进行分块;

B,对分块后的网页进行块过滤,以获取包含网页正文的内容快;

C,从内容块中提取网页正文。

正文分句

A,对网页正文进行分句;

在本步骤中,可利用分号,句号,感叹号等表示句子完结的标志符号来对网页正文进行分句。此外,还可以通过网页正文的视觉信息来对网页正文进行分句。

B,对分句后的网页正文进行过滤及转换;

在步骤中,首先过滤掉句子中的数字信息;版权信息以及其他对网页重复判断不起决定性作用的信息。随后,对句子进行转换,例如,进行全角/半角转换或者繁体/简体转换,以使得转换后的句子的格式统一。

C,从过滤及转换后的网页正文中提取最长的一个或多个句子;

在本步骤中,过滤及转换后的网页正文提取出最长的一个句子或者做场的预定数量连续句子的组合。例如,某个网页实例中,经过过滤及转换后的某段最长,远超其他句子,因此可选择该段为网页正文句子,或者选择最长的连续句子组合作为网页正文句子。

D,对一个或多个句子进行hash签名运算,以获取网页正文句子签名。

simhash算法就是比较各网页的附加签名是否相同或相似来判断网页是否重复。具体来说,在比较利用simhash签名运算获得的网页正文签名时,比较网页正文签名的不同位数,不同位越少,表示网页重复的可能性越高,在比较其他的附加签名时,若附加签名相等,表示网页在该纬度上重复。

总结:

1、两个网页的真实标题签名相同。

2、两个我那工业的网页内容签名相同。

3、两个网页的网页正文签名的不同位数小于6.。

4、两个网页的网页位置签名相同,并且url文件名签名相同。

5、评论块签名、资源签名、标签标题签名、摘要签名、url文件名签名中有三个签名相同。

附加信息整站判断重复标准:

通过两两页面比较,可以得到真重复url的集合。一般来说,如果这个真重复url集合中的网页的数量/整个网页集中网页的数量大于30%,则认为整个网页集都是真重复,否则就是假重复。

  • 相关推荐
  • 大家在看
  • 如何将访客转化为潜在客户?这个8个网站优化策略了解下

    你是否已经将自己的网站优化到最佳状态了呢?通过优化来产生潜在客户是转化网站已经获得的流量的最好方法之一。然而,如果你认为在网站的主页上添加几个“点击这里”的CTA策略(注:Callto Action,行动呼吁),就能获取更多的潜在客户,很遗憾的说,这个想法大错特错。

  • 亚马逊旗下视频网站Twitch暂时封停特朗普账号:有冒犯性内容

    6月30日,据媒体报道,亚马逊旗下视频网站Twitch周一暂时禁止美国总统唐纳德·特朗普(Donald Trump)在其平台上发言,理由是他的帖子内容不当。报道称,鉴于特朗普在两次集会上发表的言

  • SEO优化,4个独辟蹊径的策略!

    有的时候SEO工作就是一个数字游戏,每天看着数据的增长,不断的调整相关性的策略,但我们非常清楚,有的时候SEO优化会面临各种调整,特别是同行业之间的竞争。

  • 优速快递聚力品效,不断实践 不断优化

    品效驱动货量 货量牵引收益收益拉动盈利 加速赢取未来品效、品效、品效。打牢集团底盘,以持续、稳定的品效服务驱动网络盈利能力,是集团决胜千里的不二法宝。加之,当前疫情所带来的挑战与机遇的双面性影响,我们更要聚焦品质和效率,伺机而起,不放过任何一个逆势而起的机遇。基于此, 4 月 17 日集团在全网吹响了为期 120 天的“品效提升季——全网在行动”战役号角。即集团总部高管、省区高层管理人员集体深入分拨中心操作一线

  • 车轮"加油"频道,深入优化客户体验

    近年来,得益于我国经济高速发展,人们的生活水平稳定提升,汽车消费呈现井喷之势。众所周知,汽车的使用离不开汽油的支持,因此,汽车加油成为用车养车中的主要消费项目。而使消费者在加油中感到便利和实惠,在当今社会人们日益忙碌,压力越来越大的情况下,显得尤为重要。专注于全国汽车生活服务领域的移动互联网公司车轮互联想车主所想,解车主之难,在全国范围内推出了加油服务,"价格优惠"和"一键加油"是其服务的亮点。目前,

  • 腾讯内容开放平台公布创作“红黑榜” 打击不良内容

    近日,腾讯内容开放平台称,将面向全行业进行创作“红黑榜”公布。此举将对平台上出现的低俗、淫秽色情、血腥、封建迷信等不良内容及来源进行坚决打击。同时,对于积极生产优质正面内容、维护平台内容生态健康的代表账号,作出相应的激励和表彰。

  • 时尚崛起,内容为王,各大平台如何定义时尚内容消费?

    你所关注的时尚内容都从哪里获取?报刊、杂志、电视已经不再是时尚内容发布的核心渠道,新媒体社交平台成为大多数用户获取时尚内容,了解时尚品牌,种草时尚商品的主要阵地,时尚品牌的营销方式在新媒体社交平台也更为丰富。

  • 易车宣布升级内容生态 用1亿资金鼓励内容创作者

    近日,汽车互联网平台易车在城里20周年之际,发布了易车号《创易计划2020》,宣布升级内容生态。通过原创视频节目、品牌专家、易车号三个矩阵建设视频内容。易车方面表示,《创易计划2020》针对头部作者,将签约合作10档共创栏目,联合出品制作大型项目,进行投资孵化等;针对中腰部作者,即聚焦专业内容的创作者,将扶植100个栏目并帮助账号成长、进行商业变现,扶植100个代表年轻化的栏目成长,并拿出?

  • 为啥我们在小红书的内容要保持垂直?

    2020 年抖音、快手、小红书、微信、微博,除此之外还有很多个内容平台...而这些内容平台也承载着数不清的内容创作者....

  • 这个比QQ空间还古老的网站,是多少女孩的精神家园?

    ​你多久没有上网冲浪了?你还记得第一次和因特网的亲密接触吗?仔细算算那些诞生于 1999 年的网站,已经整整二十岁了。

  • 没人能阻挡“内容降级”的洪流,只能共谋

    ​当拼多多估值站上千亿美元的时候,业内业外都在讨论中国的消费降级现象。美国投资者搞不懂在阿里巴巴、京东、美团们已经坐稳江山的年代,拼多多是靠什么异军突起、弯道超车的。

  • IBM云服务出现故障 导致全球多个客户网站瘫痪

    太平洋时间 6 月 9 日下午,IBM Cloud的用户报告了一次故障,导致全球许多网站没有响应,目前该问题已经解决。

  • 这个网站靠帮人们分析怎么在网上赚钱,月入近3万

    不少想要搞副业的人,曾经花费大量时间和精力尝试在线赚钱,但最后才发现自己白折腾了。eBiz Facts 是一个小团队,该平台花费大量时间研究和审查各种在线赚钱方法是否靠谱,然后给用户一些建议,让他们避免被骗,以及浪费时间、精力和金钱在一些容易“踩坑”在线业务,并做出更明智的决策。

  • 阅文优化新合同,网文产业的质变何时才能到来?

    距离阅文集团与网文作者的“合同纠纷”已隔一月,昨天,这一事件终于有了阶段性的进展。 6 月 3 日,阅文集团新管理层发布了针对旗下作者的“单本可选新合同”。阅文方面表示,该合同根据不同授权分为三类四种,取消单一格式合同,并对此前充满争议的旧合同进行了十余项修改,以长图的形式为网友们划出重点。 阅文新领导团队在这份合同中表现出来的尊重与诚意,获得了网文大神与业内专家的支持与认可。 与此同时,作为内容产业的?

  • 从爆款内容到爆款达人,论爆款的生产机制

    2020 年,直播行业高速发展,风口正盛,各大平台纷纷布局直播,无论是电商平台还是短视频平台,都纷纷加入了直播这个拥挤的赛道。

  • 直播和短视频内容也该“打假”了

    近日,随着车某、郜某伪装滴滴司机与乘客的“假直播”事件水落石出,其背后的非法直播平台以及灰产链条也被媒体曝光。等待这场自导自演直播闹剧始作俑者的,将是法律的制裁。

  • 美图秀秀即将上线内容创意平台 打造原创优质内容生态

    日前,美图公司表示即将推出美图创意平台(MCP)。未来,在美图秀秀、美颜相机等平台,只要你喜欢画画、喜欢设计、乐于分享创作,就可以向数亿用户分享你的设计创意,让更多人分享你笔下勾勒的拍照玩法,并且还有万元奖金,等你来拿!手有绘笔,以手画心。你内心有斑斓色彩三千世界,你脑海有星辰宇宙飞鸟过沧海。想让更多的人看到你绘做的色彩、用线条与涂抹勾勒出的创意与潮流玩法吗?想让自己创作的涂鸦、设计的特效被亿级的用户使用,在光影?

  • 电子书免费,写评论还奖励60美元,这家网站靠什么赚钱?

    对于喜欢阅读的用户来说,OnlineBookClub绝对是一个好地方。这个已经有着十多年历史的在线图书俱乐部,不但为用户提供免费的电子书,而且用户如果为电子书写评论,每条最高还可获得 60 美元的报酬。它甚至都不需要用户具备高级评论家的水平,只需要通过Online Book Club注册一个账户,注册成功后,你只要选好你喜欢的图书类型,然后从可供选择的图书中选择一本书,按照说明下载,然后提交评论就可以了。

  • 教你挑选香烟陈列优化神器——自动补货推进器

    自动补货器、香烟推烟器、卷烟推进器,一款陈列神器——推进器已被应用在各大商超。众所周知,为提升店铺档次,降低人工成本,减少损耗,提升满陈列效率,会想到借助自动理货器对商品进行整理,也就是——货架自动推进器,我们以香烟推进器作优势分析:1、使用了香烟推进器,丰富了香烟陈列场景,完善香烟陈列场景化,使不同的香烟陈列美观,丰富香烟陈列效果。2、一体成型工艺降低了人工组装成本,提高生产效率。和陈列柜,货架,?

  • Insight TV与爱奇艺签订内容授权协议 交易所涉节目内容种类多范围广

    荷兰,阿姆斯特丹, 2020 年 6 月 29 日消息:Insight TV——一家为全球广播公司和数字服务机构提供冒险运动、旅行和生活方式类节目的电视频道节目提供商和内容制作商——与中国视频流媒体巨头爱奇艺公司签署了一项内容授权协议。爱奇艺公司拥有超过5. 6 亿的月活跃用户,其中1. 06 亿为付费订阅用户,是中国视频流服务领域的领军企业。双方达成本次交易后,Insight TV的节目内容将通过爱奇艺旗下各个广告支持的分级运营平台、网站

  • 参与评论
文明上网理性发言,请遵守新闻评论服务协议

热文

  • 3 天
  • 7天