X
广告
首页 > 传媒 > 关键词  > 公有云最新资讯  > 正文

公有云也“All-Flash”? 华为云极速IO云硬盘让云存储进入微秒时代

2019-07-23 13:45 · 稿源: 厂商

文/ 高端存储知识

Gartner在 2018 年Market Insight: Preparing for the SSD Rise and HDD Demise一文中指出:当闪存介质降到HDD每GB平均销售价格(ASP)的三倍时,闪存技术通常会出现一个拐点,会加速取代HDD。

因此,Gartner预测, 2023 年,所有的数据中心的10,000rpm的HDD几乎都被SSD代替。Gartner建议,现在就停止在数据中心环境中使用15,000 rpm和10,000 rpm HDD技术。

而另一方面,根据IDC的预测, 2025 年全球的数据圈将从 2018 年的33ZB狂涨到175ZB。

而这大量的数据都在公有云上。这个其实也容易理解,因为随着5G的普及,以后移动网络不再是瓶颈,所有的终端设备产生的数据将大部分保存在公有云上。

如此海量的数据要保存和处理,传统的存储架构肯定是不行的(不过公有云采用传统存储的本来就不多),分布式存储,甚至是All-Flash的分布式存储,将是未来公有云的主流存储架构。

正是看到这样的趋势,华为云顺势而发,在 7 月初发布了云存储All-Flash战略,并推出了全新一代极速IO云硬盘。极速IO云硬盘基于华为自研的芯片,采用大量针对Flash设计的原生算法,单盘可以达到 100 万IOPS,时延低至 100 微秒以下。

相比华为云原来提供的超高IO云硬盘,极速IO云硬盘的IOPS、带宽、时延方面都有巨大的提升——特别是时延,降低了90%,使得云盘从ms时代直接进入μs时代,就像使用本地SSD盘一样。

为什么有这么大的差异呢?其实,华为云极速IO云硬盘是引擎、架构、芯片、算法、AI等多项技术融合的成果。

华为云的智能数据底座包括五个部分:引擎、架构、芯片、算法和AI,也可以概括为“两个创新+三个加持”。“两个创新”为全新Flash-Native存储引擎和全栈架构创新,而“三个加持”则是全系列自研芯片、硬核数学算法以及AI。

全新Flash-Native存储引擎

采用Flash友好的数据布局,实现了智能全局FTL完成全局磨损均衡,可以智能控制垃圾数据回收,大幅度减少了SSD写放大,使得SSD寿命提升 5 倍以上,可靠性达到了 11 个9。

全新架构创新

全栈架构创新,实现了数据IO和控制的分离,通过芯片重构数据读写,软件实现智能调度,例如网卡可以直接写数据到SSD介质,无需CPU参与;可以利用专用的ASIC芯片进行数据的EC、压缩计算,这样原有软件消耗的60%的CPU可以通过网卡、ASIC来完成,大幅度提升了整个软件的性能。

全系列自研芯片加持

自研CPU:华为云存储充分发挥鲲鹏 920 系列芯片在多核、低功耗等方面的优势,实现了免锁多核调度和高并发性能和绿色节能。鲲鹏 920 芯片采用了7nm的制造工艺,在典型主频下,芯片的SPECint Benchmark评分超过 930 分,超出业界标杆25%,能效比优于业界标杆30%。鲲鹏 920 芯片主频可达2.6GHz,单芯片可支持 64 核。该芯片集成 8 通道DDR4,内存带宽超出业界主流46%;芯片集成100G RoCE以太网卡功能,支持PCIe4. 0 及CCIX接口,可提供640Gbps总带宽,单槽位接口速率为业界主流速率的两倍;

自研网卡:RDMA网络已经成为人工智能、科学计算等高性能计算、存储业务的必备技术,华为基于自研网卡突破大规模RDMA网络拥塞控制技术,支持 1 万+节点规模,同时大幅降低网络拥塞,长尾时延降低30%以上。

硬核算法加持

EC:云存储为了应对数据从PB级向EB级演进挑战,通过存储的核心数据冗余编码技术EC算法,可根据存储集群规模自动调整冗余策略,一方面相对副本写带宽大幅提升,同时优化数据重构下的带宽,相对传统三副本冗余方式整体带宽提升3X。

为了进一步提升数据存储效率,华为全面优化了压缩算法,可以根据不同的用户数据特征进行变长及数据差量压缩,数据压缩率相对传统算法提升 3 倍;

SSD LDPC算法:在华为SSD存储中,华为率先引入LDPC算法(Low Density Parity Check,低密度奇偶校验),并依托华为强大的算法团队持续优化LDPC算法能力和性能,达成业界最佳纠错能力,Flash寿命最高提升 5 倍。

AI加持

华为将人工智能技术融入分布式存储的全生命周期。

首先,华为云存储能够智能识别用户个性化的业务模型,进行自适应的AI调优;同时通过动态自适应QoS控制,减少多租户之间的干扰,保障租户SLA。

其次,根据业务模型和负载,智能预测性能趋势,并且根据用户提前配置的自动调整策略完成调整,免人工干预保障业务平稳。

另外,从云上大数据分析看,大部分性能波动是由于硬件故障引起的,通过AI故障预测能力,可以提前 14 天发现故障盘并完成自动隔离处理。

通过AI的加持,华为云可以实现对租户的IO模型和云存储系统运行状态的感知和匹配,系统可以自主调优和自我进化,让用户越用越快。

目前,华为云是业界为数不多有能力将多项技术进行整合与优化,从而提升整体服务水平的云服务提供商。其通过全栈技术能力,将所有环节进行协同与优化,最终为用户呈现出最佳的云服务。

从华为云宣传的指标来看,极速IO云硬盘非常不错,但是具体如何,还需要第三方测试一下。

至顶网评测实验室最近对华为极速IO云硬盘进行了全面的测试,我这里只选取他们测试MySQL数据库的情况。

在数据库应用测试中,至顶网选用Sysbench OLTP对华为云极速IO云硬盘与高速IO云硬盘的MySQL数据库同样进行了评测。

在测试过程中,至顶网设置了 10 张数据库表格,数据库的大小设置为10,000,000,测试时长为 5 分钟。

云极速IO云硬盘测试截图

从上面的SysbenchOLTP测试结果可以看出,华为云极速IO云硬盘MySQL数据库应用性能可以达到每秒 2 万,接近2. 1 万transactions(20938.99 per sec)的程度。每秒万次级别的数据库调用,基本上达到各大电商大促活动时的数据库调用强度。

云超高IO云硬盘测试截图

与华为云超高IO云硬盘数据库应用性能相比,极速IO云硬盘有一个数量级的性能提升。

鉴于华为云极速IO云硬盘的卓越性能,预计其在关系型数据库、NoSQL数据库、大数据+AI场景和云游戏及互联网应用将会被大量采用,大大提升最终用户的体验,让性能问题不再是上云的瓶颈。

也许大家都很关心,这么好的东西,到底贵不贵?我们是否负担得起?目前,华为云极速IO云硬盘还处于试用阶段,没有公布价格。不过,随着闪存价格的下降,应该会有一个较高的性价比。

感兴趣的朋友不妨先上华为云官网免费申请试用吧。

特别声明:以上内容(如有图片或视频亦包括在内)均为站长传媒平台用户上传并发布,本平台仅提供信息存储服务,对本页面内容所引致的错误、不确或遗漏,概不负任何法律责任,相关信息仅供参考。站长之家将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。任何单位或个人认为本页面内容可能涉嫌侵犯其知识产权或存在不实内容时,应及时向站长之家提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明(点击查看反馈地址)。本网站在收到上述法律文件后,将会依法依规核实信息,沟通删除相关内容或断开相关链接。

  • 相关推荐
  • 大家在看
  • 有惊喜!选华为云迎双11大促,弹性更稳定!

    双 11 在即你准备好迎接蜂拥而来的流量了吗?大促前搞定云资源让你的线上业务更稳、更快、更安全给你的用户完美体验华为云授权销售支持中心奥深智慧精心策划购云惊喜! 礼品可叠享哦~————————————————————————· 一重礼:千元客户礼· 领取方式: 第一步:扫描二维码注册华为云账号(关注微信号:奥深智慧。获取注册二维码,一定要扫码注册,否则无法获得礼品哦)。 第二步:进行实名认证。 第三步:选购?

  • 华为云计算在北京成立新公司 经营范围包括区块链应用软件开发

    企查查信息显示,近日,华为云计算在北京成立新公司,注册资本1亿元。该公司法定代表人为张平安,经营范围包括云计算装备、云计算设备的技术服务;人工智能基础软件开发;区块链应用软件开发;大数据服务等。

  • 华为周建军:用比特管理瓦特 打造一朵能源

    华为技术有限公司中国区副总裁、华为数字能源技术有限公司中国区总裁周建军在2021粤港澳大湾区民营企业科技创新峰会暨民营企业科技成果对接会上的演讲表示,碳达峰、碳中和已经成为中国以及全球主要经济体的共识和使命,是未来30年到40年全球最大、最确定性的事件。这必然会是一场广泛而深刻的经济社会变革,意味着能源生产、能源消费的革命,也是一次各行各业全面升级换代的机会。

  • 当教育遇上黑科技,华为智慧教室助力“端对话”

    我们正在踏入万物互联的时代。 2020 年,教育部发布了《关于加强“三个课堂”应用的指导意见》,要求 2022 年全面实现三个课堂的常态化应用。国家高度重视教育云平台的作用,鼓励各方合作共同建设“智慧教育”新生态。 而对成长于互联网环境的Z世代学生来说,他们也更习惯于个性化教学与服务。在加速数字化转型和智能化升级的社会环境下,以教育信息化促进教育现代化,深度融合新兴技术与教育教学是发展趋势,教育数字化变革的趋?

  • 华为终端云服务携手华为学堂,送爸妈一节手机安全课!

    “手机经常提醒我内存已满、清理垃圾,我一遍遍地清理,手机却越来越卡,还莫名其妙多出一些不认识的软件……”李奶奶最近总和孙女抱怨手机使用过程中的烦恼。虽然孙女告诉她不要乱点APP里的弹窗,但李奶奶还是不清楚如何分辨哪些按钮该点、哪些不该。很多老年人都与李奶奶有着类似的经历,在使用智能手机过程中频频遭遇困境:APP弹出“红包领钱”、“走路赚钱”的广告,点击之后却下载了一连串垃圾软件;登录账户需要设置密码,却

  • 科技落地医疗的实践

    山西陵川,一座历史悠久的古城。陵川县政府一直积极拥抱变化,希望通过转变自身,带动整个地区的转型升级,并于2019年末,入选全国农村创新创业典型县。陵川县政府的信息化起步并不晚,但是资源过于分散,原有系统的建设和维护成本居高不下,且缺乏统一的IT资源管理平台。随着服务对象逐年增多,原有系统已经无法匹配公共服务型政府的需求。 于是,陵川县政府决定选择“信息化+云”结合的解决方案,依托政务专网,为政府各部门搭建

  • 舟文件安全一体机发布,混合时代企业上的优选

    今年 9 月底,在 360 亿方云新品发布会上,云舟文件安全一体机正式发布了。据悉,该设备采用最新云原生架构,将高性能服务器与亿方云企业网盘服务相结合,为企业搭建高效协同、安全管理、完善开放的企业办公平台。数字时代已至,企业文档上云面临“4”大难题今年是“十四五”规划的开局之年,规划中明确提出“加快数字化发展,建设数字中国”。随着上云进程提速,企业在面对非结构化文档时也碰到了诸多难题。首先是文件存储混乱。?

  • 三大升级看华为终端云服务的“万象新生”进阶之路

    【9月23日,成都】“万象新生” HMS媒体沙龙在华为旗舰店·成都万象城举行。华为终端云服务与媒体分享了以“影像新生”、“服务新生”和“美学新生”三大创新为主的重要升级,共同感受为用户带来的万象新生的数字生活体验。伴随着华为手机及全场景终端新品的发布,终端云服务在用户体验方面也不断升级,坚持以科技创新为先,引领软硬件协同,打造全场景高品质体验。华为消费者云服务副总裁林劼透露,截至到今年的6月底,华为HMS(H

  • 移动主机校园活动怎么样?来看看学生们怎么说

    移动云校园活动是现在很火的校园云产品活动。移动云算得上是目前国内云服务产品做得最好的厂商之一了。通过云计算与网络资源的系统互连,为客户提供云网融合整体服务,并且提供了公有云、定制云、混合云等多种服务形式,广泛应用于政务、金融、旅游、交通等行业。这些移动云产品也取得良好效果,深受客户青睐。移动云是中国移动面向政企、事业单位、开发者等客户推出的基于云计算技术、采用互联网模式、提供基础资源、平台能力、软

  • 阿里CDS发布,将公共存储能力带到本地

    9 月 22 日,阿里云发布全球首款“云定义存储”(Cloud Defined Storage,CDS)产品。作为一款本地部署的分布式存储产品,阿里云CDS拥有与公共云存储相同的技术架构,让企业客户在本地也能部署和使用与公共云一致的存储产品。 阿里云CDS基于阿里云分布式存储系统“盘古2.0”构建,最大IOPS最高可达百亿,云盘时延低至百微秒,可支撑数十EB级别存储规模,单bucket支持万亿级文件数,同时具有金融级的数据容灾能力。阿里云CDS最小起建

这篇文章对你有价值吗?

  • 热门标签

热文

  • 3 天
  • 7天