首页 > 传媒 > 关键词 > 腾讯最新资讯 > 正文

腾讯进一步拥抱开源:主导Apache社区新一代分布式存储系统Ozone 1.0.0发布

2020-09-24 17:59 · 稿源:站长之家用户投稿

刚刚获悉,由腾讯云大数据团队主导的Ozone 1.0.0版本在Apache Hadoop社区正式发布。据了解,经过2年多的社区持续开发和内部1000+节点的实际落地验证,Ozone 1.0.0已经具备了在大规模生产环境下实际部署的能力。

Ozone 是Apache Hadoop社区推出的新一代分布式存储系统,它的出现满足了大量小文件的存储问题,解决了Hadoop分布式文件系统在可扩展性上的缺陷。作为Hadoop生态圈的一款新的对象存储系统,能够支持百亿甚至千亿级文件规模的存储。

腾讯云大数据团队Ozone项目负责人陈怡表示,作为大数据领域的领导厂商,腾讯是国内一线互联网公司中最早加入社区的,目前已经在Ozone项目上已经主导完成了集群网络拓扑感知的开发,以及数据写入Multi-Raft Pipeline功能的开发。同时,主导的StorageContainerManager(SCM) 高可用HA功能也正在开发中。

Ozone 架构图

以集群网络拓扑感知来说,在传统的大数据构架下,有了网络拓扑结构,计算引擎的调度器可以将任务调度到离数据最近的节点来获取“数据的局部性”。即便是新兴的计算存储分离构架,同样也需要集群网络拓扑信息,来保证数据的故障容错能力和高可用性。

陈怡进一步介绍说,在Ozone 的Alpha 发布后,腾讯内部的大数据平台上线了Ozone生产集群,承接了一部分业务的数据存储。随着数据服务体量的增加,逐渐发现Ozone写入性能显现出了一定的波动和瓶颈。基于这个发现,腾讯Ozone项目组设计并开发了数据写入Multi-Raft Pipeline功能,显著的提升了Ozone的写入吞吐量和性能。

此外,为了测试Ozone整体的稳定性和性能,作为部署应用的先锋小队,腾讯内部部署了一个1000个数据节点的集群。进行了长达几个月的稳定性和压力测试。期间团队遇到并解决了各种OOM、节点Crash、性能低于预期等问题。经过全面的优化之后,单集群1000个节点现已能长时间稳定运行,并且所有的数据都校验确认正确无误。

除了1000个节点集群的测试,1.0.0版本还进行10亿个元数据对象的测试和优化,进一步解决长期困扰HDFS的大量小文件问题。目前Ozone 1.0.0能够轻松支持10亿个10KB小对象的写入,同时元数据节点内存使用不超过64GB。

为了确保Ozone和Hive、Spark、Impala等计算框架的无缝对接,Ozone 1.0.0进行了和Hive LLAP、Spark以及Impala的集成测试。TPC-DS的测试表明,在100GB和1TB两种数据量大小下,Ozone总体比HDFS有3.5%的优势。

经过不断的测试和优化,升级后的Ozone 1.0.0在版本功能上有了质的跨越。除了支持 Hadoop Compatible FileSystem、Hadoop 2.x以及 Hadoop3.x环境,Ozone 1.0.0还兼容Hadoop生态的Kerberos认证体系,支持数据的用户无感知加密存放和Ranger授权集成、GDPR “Right to Erasure”以及网络构架感知。

未来,腾讯云大数据还将发挥自身技术优势和积累,在Ozone的基础上开发基于SCM的新一代高性能分布式文件系统,并持续推进Ozone在更多腾讯内外部业务的实践落地,部署更大规模的生产集群。同时,进一步拥抱开源,深度参与Hadoop社区,提高Ozone的可靠性、稳定性和性能,将其打造成新一代大数据文件和对象混合存储系统。

值得一提的是,腾讯大数据团队除了在Ozone 项目上的贡献之外,近年来在开源领域的贡献正在逐步加速,目前已完成了大数据核心能力全开源。同时,还结合实际业务场景推动开源技术加速落地,通过技术实践和创新持续回馈社区贡献开源。在Apache基金会的大数据项目上,腾讯已经为主流的Hadoop、Spark、Flink等项目贡献了大量的特性和patch。

免责声明:“站长之家”的传媒资讯页面文章、图片、音频、视频等稿件均为自媒体人、第三方机构发布或转载。如稿件涉及版权等问题,请与我们联系删除或处理。稿件内容仅为传递更多信息之目的,不代表本网观点,亦不代表本网站赞同其观点或证实其内容的真实性,更不对您的投资构成建议。我们不鼓励任何形式的投资行为、购买使用行为。

  • 相关推荐
  • 大家在看
  • 为云而生,青云科技分布式存储全线升级!

    今天的故事要从青云QingCloud 分布式存储产品——QingStor的发展历程开始讲起。2015年,青云QingCloud发布了青立方超融合和QingStor企业级分布式存储,并迎来了第一款产品——QingStor对象存储。2017年,QingStor NeonSAN块存储正式发布,强调高性能和低延时,支持真正的水平扩展,主要用于企业核心业务等基于块存储的应用。2018年,青云QingCloud补全了存储产品线,发布了QingStor文件存储,其底层采用了QingStor NeonSAN的核心技

  • 星际领航 — 2020上海国际IPFS分布式存储论坛正式开幕

    10 月 11 日由上海嘉定区人民政府、上海市嘉定工业区单位指导;由星际联盟主办;链闻、Winkrypto、Filscout.io、钢铁匣、StarPool协办;由阿里云、七牛云、H3C、西部数据等行业领军企业提供支持的 2020 上海国际IPFS分布式存储论坛顺利召开。 抚州市委常委、高新区党工委书记吴建华一行及上海市嘉定工业区经济发展有限公司总经理陈建忠一行等政府部门领导也作为特邀嘉宾参与了本次论坛。活动获得包括中央电视台, 东方卫视,第一财经

  • QingStor第一款分布式容器存储一体机:代码级整合,开箱即用

    日前,企业级分布式存储产品QingStor全线升级,推出首款容器存储一体机KubeSphere KF3000,帮助企业用户加速落地容器平台。同时推出的还有分布式全闪存储一体机QingStor NF6000,为企业用户提供高性能全闪存储一站式交付方案。两款硬件产品的面世,构成了高性能、多场景、安全可靠、敏捷易用、低成本的一站式数据存储解决方案,极大满足了企业用户在数字化转型进程中的数据存储需求。KubeSphere x QingStor 强强联合,共铸云原生基

  • 拼多多拿下春晚:是快手式的KPI,还是腾讯式的“偷袭珍珠港”?

    今年在各大电商备战 618 的时候,拼多多忙着助贫助农,关键时刻联合湖南卫视祭出拼多多 618 晚会,扳回一局。如今时逢双节同庆,友商们也在为双 11 预热,拼多多却横跨两阶,直指春晚,补足“失去”的年味。怎么回事?

  • 干细胞存储越来越普遍,你是因为什么选择了解干细胞存储?

    5月 30 日,菲菲正在市妇幼做产检,丈夫全程陪着她,“每次产检,我老公都请假全程陪着”,说起这个,菲菲满脸都是甜蜜的笑容。菲菲的丈夫是当地重点中学的一名老师,菲菲自己也是一位小学老师。刚怀孕不久,菲菲就与丈夫商量,决定在博雅干细胞库存储即将出生的宝宝的胎盘干细胞。菲菲说,还是学生时代的时候,那会儿都还没有恋爱,她就在一部电影中看到有一个患绝症孩子因为干细胞而获救的故事,因为新的医疗科技的神奇而深受震?

  • 大屏与短视频合二为一 酷开系统8打造一站式追剧体验

    在这个快节奏、碎片化的时代,看短视频追剧已成为一种新的风尚。许多年轻观众已经习惯通过手机上的微博、抖音、B站等网络平台听剧情解说,然后在大屏上观看电视剧。对于他们来说,小屏看解说、大屏追正剧是一种便捷且舒适的追剧方式。 然而,这种将大屏和小屏结合在一起的追剧方式也存在一定的苦恼:必须在大小屏来回切换,而跨屏天然存在各种麻烦。最明显的例子是,频繁在手机和大屏之间切换,存在着必不可少的切换操作过程;而?

  • 腾讯发布WeCity未来城市2.0白皮书 ——打造“系统韧性”,兼顾治理与增长

    9 月 10 日,腾讯研究院联合腾讯云以及腾讯政务,发布《WeCity未来城市2. 0 白皮书》,从宏观背景、内涵升级、能力拓展和创新实践的角度,阐释了如何在日益复杂化的空间、治理与服务的前提下,践行“市民即用户”“连接即服务”“数据即空间”“城市即平台”的理念。今年,新冠肺炎疫情成为一次使全球社会始料不及的“黑天鹅”事件,也给我国经济社会发展带来了前所未有的冲击。但同时,疫情也促使业界开始正视不确定性给智慧城市?

  • 颈挂式运动蓝牙哪款好?十大颈挂式运动耳机排行

    对于一个健身达人来说,没有音乐的运动是没有灵魂的。特别是平常室外跑步时,如果不能用耳机将自己与世界隔离,就无法很好地沉浸在运动过程中。对于一部分人来说,带上耳机也能让自己显得不那么孤单。运动时身体的动作幅度是比较大的,普通的有线耳机肯定不行,很容易就被钩住。无线蓝牙耳机就更不行了,跑几步就不知道掉哪去了。为了能更好的体验运动的过程,达到更棒的健身效果,推荐几款性价比高的颈挂式蓝牙耳机给大家~1.NANK?

  • 便宜好用的挂脖式蓝牙耳机有吗?平价挂脖式蓝牙耳机安利

    挂脖式蓝牙耳机现在越来越受到大家的欢迎,特别是年轻人。所以在选择的时候我尽量满足年轻人的需求,着重关注一下音质,时尚度,舒适度,这些方面。我按照价位给大家推荐几款挂脖式蓝牙耳机,大家可以根据自己的需求和预算针对性的看。推荐一、NANK南卡S2游戏蓝牙耳机售价:249元蓝牙协议:Aptx-ll,Aptx-hd、aptx、AAC,SBC防水等级:IP55级续航时间:12H一句话点评:Nank南卡S2蓝牙耳机是最近最火的运动耳机,性价比很高,在质量

  • 蓝牙耳机挂脖式好还是无线好?挂脖式性价比蓝牙耳机排名

    挂脖式蓝牙耳机绝对是近几年运动健身听歌的利器,对比有线耳机,挂脖式蓝牙耳机凭借其便捷性深受不少运动爱好者的喜爱。再者,随着近几年蓝牙无线技术的快速发展,现在挂脖式蓝牙耳机的音质和蓝牙传输的稳定性已经得到了质的飞跃。不过蓝牙耳机哪个品牌更值得买?还是一起看看目前挂脖式蓝牙耳机的最新排名情况吧。一、NANK南卡S2游戏蓝牙耳机售价:249元蓝牙协议:Aptx-ll,Aptx-hd、aptx、AAC,SBC防水等级:IP55级续航时间:12H

  • 颈挂式蓝牙耳机哪个牌子好?性价比颈挂式蓝牙耳机排名

    颈挂式蓝牙耳机绝对是近几年运动健身听歌的利器,对比有线耳机,颈挂式蓝牙耳机凭借其便捷性深受不少运动爱好者的喜爱。再者,随着近几年蓝牙无线技术的快速发展,现在颈挂式蓝牙耳机的音质和蓝牙传输的稳定性已经得到了质的飞跃。不过蓝牙耳机哪个品牌更值得买?还是一起看看目前颈挂式蓝牙耳机的最新排名情况吧。1.NANK南卡S2游戏蓝牙耳机售价:249元蓝牙协议:Aptx-ll,Aptx-hd、aptx、AAC,SBC防水等级:IP55级续航时间:12H一

  • 颈挂式运动耳机哪些好?2020颈挂式运动耳机榜单出炉

    我们日常的运动基本上就是跑步居多了,所以我们经常可以看到傍晚公园,街道上很多有人都在夜跑,既为了锻炼身体,也为了放松压力。虽然运动可以放松压力,但同时也会疲倦,所以很多人就会使用挂脖蓝牙耳机来听听歌,来消除运动带来的疲倦感。今天我就分享几款很好地运动挂脖蓝牙耳机,希望对你各位有用。一、NANK南卡S2游戏蓝牙耳机售价:249元蓝牙协议:Aptx-ll,Aptx-hd、aptx、AAC,SBC防水等级:IP55级续航时间:12H一句话点评

  • 有什么推荐的半入耳式蓝牙耳机?半入耳式耳机音质排行榜!

    随着科技的进步,耳机的形式也发生了不少的变化。以前是平头式的耳塞,到半入耳,到入耳式。购买耳机的时候,你会发现,现在市面上大多数耳机都是入耳式。而半入耳式的耳机,真的越来越少。入耳式耳机确实比半入耳式耳机表现更好,更好的封闭性,减少漏音,减低外界噪音对音乐的干扰。加大低频的质感和量感,增加对音乐细节的表现。可以用更低的音量欣赏音乐,更好的保护耳朵。当然,并不是所有人都喜欢入耳式或者都适合入耳式。半

  • 挂脖式运动耳机哪个牌子好?2020十大挂脖式运动耳机

    我们日常的运动基本上就是跑步居多了,所以我们经常可以看到傍晚公园,街道上很多有人都在夜跑,既为了锻炼身体,也为了放松压力。虽然运动可以放松压力,但同时也会疲倦,所以很多人就会使用挂脖蓝牙耳机来听听歌,来消除运动带来的疲倦感。今天我就分享几款很好地运动挂脖蓝牙耳机,希望对你各位有用。一、NANK南卡S2游戏蓝牙耳机售价:249元蓝牙协议:Aptx-ll,Aptx-hd、aptx、AAC,SBC防水等级:IP55级续航时间:12H一句话点评

  • 有什么挂脖式蓝牙耳机好用平价?平价挂脖式蓝牙耳机推荐

    现阶段耳机也已经成为了大家的必备品,随着耳机款式、品牌越来越多,必定有很多想要入手耳机却又在众多耳机中困扰的朋友,根据不同的佩戴方式,耳机也有不同的种类:分体式(可分为平头式跟入耳式)、挂脖式(也可分为平头挂脖跟入耳挂脖)、头戴式,今天小编推荐几款平价的挂脖式蓝牙耳机~一、NANK南卡S2游戏蓝牙耳机售价:249元蓝牙协议:Aptx-ll,Aptx-hd、aptx、AAC,SBC防水等级:IP55级续航时间:12H一句话点评:Nank南卡S2?

  • 颈挂式蓝牙耳机那个牌子好?好用的颈挂式蓝牙耳机品牌推荐

    蓝牙耳机使用起来,比有线耳机方便许多,逐渐被用户所接受喜爱,于是蓝牙耳机便成为一种潮流。挂颈式的蓝牙耳机,因为技术性能的相对成熟,所以逐渐成为每日音乐生活伴侣的标配:不会像真无线那么无感,戴在身上完全没有一种戴了耳机的仪式感,也不会像真无线那么容易丢,挂在脖子上还是有感觉的。可供选择的挂颈式蓝牙耳机也很多,那么接下来推荐几款好用性价比高的挂脖式蓝牙耳机吧~1.NANK南卡S2游戏蓝牙耳机售价:249元蓝牙协议

  • 半入耳式耳机推荐哪个牌子好,半入耳式蓝牙耳机推荐

    这两年蓝牙耳机发展速度越发的快了,特别是半入耳蓝牙耳机,很多耳机厂商都推半入耳蓝牙耳机,佩戴舒适度相对TWS蓝牙耳机要高一些,那今天小编就为大家推荐几个好用的半入耳式蓝牙耳机,AirPods蓝牙耳机说到半入耳蓝牙耳机,第一想到的应该就是AirPods 了吧,除了价格不是很美丽之外,其他的都非常完美,操作简单,在取下手机的耳机插孔后,苹果推出了AirPods真正的无线蓝牙耳机。虽然外观似乎与有线耳机没有太大变化,但这是由于?

  • 蓝牙耳机挂脖式哪个牌子好用,百元挂脖式蓝牙耳机推荐

    不少人在跑步或者运动时都有听音乐的习惯,佩戴传统的有线耳机会因为线路束缚影响运动,佩戴真无线入耳蓝牙耳机又戴不稳,很容易掉,所以很多人都会选择无线挂脖式蓝牙耳机,目前市面上有不少无线耳机,哪种类型更适合在跑步时佩戴呢?这里给大家种草几款性价比高,便宜好用的挂脖蓝牙耳机。Xisem西圣Armor挂脖蓝牙耳机xisem西圣蓝牙耳机是最近超火的蓝牙耳机,其价格100元左右,但惊喜的是有着强悍的爆发力和重低音,配置12mm大动

  • Filecoin上线在即,OKEx存储板块接棒DeFi引领新热点

    被热炒了 4 个多月的DeFi,相较于此前近乎直线的增长态势,终于还是放缓了脚步。DeFi进入冷静期后,Filecoin带动的存储板块概念却已经悄悄开始表演。9 月 28 日,受Filecoin主网即将上线的利好消息影响,存储板块集体上涨。STORJ单日上涨14.51%,LAMB上涨8.04%,SC上涨3.68%......而近日,随着Filecoin主网上线日子的临近,存储项目的呼声也是愈发高涨。等待 3 年,Filecoin终于要上线了定位是存储板块龙头级别的Filecoin,在多次?

  • 斯林百兰床垫,沉浸式深睡体验

    睡眠是个体生命必需的生理过程,其不仅可以恢复日间消耗殆尽的精力水平,同时对维持个体身体健康和正常心理功能也发挥着举足轻重的作用。然而,在实际生活中,由于工作和学习等原因,个体的睡眠可能无法达到维持身心健康所需的基本时长,即存在睡眠不足的现象。 已有大量研究表明,睡眠不足不仅增加罹患心血管疾病和肥胖症等疾病的风险,也会对个体的认知功能产生负面影响,如注意功能、执行功能和情绪管理等。与此同意,受损的认

  • 参与评论
文明上网理性发言,请遵守新闻评论服务协议
  • 热门标签