首页 > 传媒 > 关键词 > 华为云最新资讯 > 正文

技术解读:华为云鲲鹏Redis,成本降低30%

2019-06-24 11:34 · 稿源:站长之家用户投稿

   2019 年 5 月,华为云发布全球首个自研ARM的分布式缓存鲲鹏Redis,搭载华为LibOS+华为编译器+安全容器引擎三项黑科技,在保证Redis强劲高性能外,还降低客户30%的使用成本,真正实现了好用不贵的普惠型分布式缓存Redis产品。

  本文从技术视角解读华为云鲲鹏Redis是如何通过数据中心基础设施、芯片、硬件、软件等全栈创新优化,达成以上效果。

  一、为什么ARM架构适合Redis?

  众所周知,Redis是一款风靡全球的高性能、高灵活性、数据结构类型丰富的key-value内存数据库,拥有毫秒级的响应时延。因此Redis对服务器内存、网络带宽时延要求极高,即:Redis的高性能能否发挥出来取决于服务器内存、网络性能。

   2019 年 3 月, Redis之父Salvatore Sanfilippo(网名:antirez)就Redis ARM架构发展趋势发表观点,他表示把ARM作为Redis运行架构,并且通过了所有测试与验证、性能稳定性非常好,Antirez列举了很多测试数据,得到了广大网友的支持。

  由于Redis在设计上就采用单线程架构,所有IO和数据处理都是在同一个线程中完成的,所以单节点的Redis最多只能使用一颗CPU核心,单节点Redis的性能基本达到 10 万QPS的量级后就没法再向上扩展了。

  在现实的业务系统中,对Redis性能往往都要求达到 100 万QPS以上,甚至 1000 万以上,这种场景下需要通过Redis集群的方式来扩展Redis性能,而集群性能的瓶颈成为了Redis架构性能优化关键的因素。

  1.RedisProxy集群架构性能关键点

  Proxy集群作为业界广为流行的Redis集群,其架构如下:

  在这个架构中,Redis集群由负载均衡器、Redis Proxy和Redis Server这三类节点组成。在此Redis集群架构中,Proxy节点和Redis Server都可以水平扩展,通过增加节点数量就可不断提升Redis集群的整体性能。根据不同的业务诉求,集群性能可弹性扩展到 100 万至 1000 万QPS。也正是由于可通过增加节点数来提升集群整体性能,所以Redis单节点虽只用一颗CPU核心,CPU最高主频限制Redis单节点性能,但在集群水平扩展模式下cpu主频限制已经不太重要了。

  在整个集群架构中,业务系统发出的Redis请求需要经过负载均衡器和Redis Proxy的两次转发后,才能到达Redis Server被真正处理,端到端的链路性能才是整个集群的最大性能瓶颈。实测结果也表明,Redis集群的端到端链路时延每减少 1 毫秒,集群整体性能可提升10%+。

  2.RedisCluster集群架构性能关键点

  Cluster集群作为Redis官方标准的集群,逐步成为客户的集群首选架构,并实际应用到线上业务中。其架构如下:

  Cluster集群相比Proxy集群减少了网络跳数,性能更高、灵活性很强。该架构和Proxy集群一样,突破了Redis集群对于CPU单核性能的依赖性,而端到端的链路性能才是整个集群的最大性能瓶颈。

  从上述架构剖析可以了解到,Redis单核性能的关键在于CPU的处理能力,但Redis真实在CPU中操作的时间在纳秒级别,不超过端到端时延的10%,因此Redis横向扩展核心靠链路性能优化。

  二、华为云鲲鹏Redis:三项黑科技助力Redis性能

  1.华为自研LibOS构建高性能云服务基础设施,助力Redis性能 2 倍提升

  LibOS兼顾资源利用率和隔离性,同时满足公有云资源利用率和多租户隔离的诉求,成为公有云runtime的重要发展方向。创新的LibOS技术将Redis的软件栈由 10 层压缩到 4 层,实现了超低延时。

  1) SOCKET标准接口,实现从内核态网络栈平滑切换到用户态。2) 轻量级协议栈,支持每个Redis实例有独立的协议栈,避免协议栈共享导致的锁竞争问题。3) 业务线程和用户态协议栈共线程,零调度开销。4) 发挥网卡极限性能,避免了中断和调度导致时延增加。

  2.华为编译器通过智能动态编译优化,提升热点代码性能15+%

  华为自研编译器针对公有云业务应用场景特征,通过智能动态编译优化,提升热点代码性能15+%:

  1) 由部署在云服务环境内的轻量级性能特征采集Agent,保存程序动态运行时的关键性能特征信息;

  2) 通过智能编译调优工具,以动态性能特征作为输入,结合静态代码分析,产生更优的编译策略;

  3) 自研ARM64 编译器使用新的编译策略重新编译生成优化后的应用程序,热点代码性能提升明显。

  3.华为iSula自研安全容器引擎技术,以更少的系统资源占用,实现秒级实例分发与迁移

  iSulad是华为自主研发的高性能、低开销的容器引擎,通过镜像下载加速技术和最小化启动调用链条,实现容器的秒级启动和迁移。配合LibOS,可实现可媲美虚拟机级别的安全隔离性,确保租户只能使用它们可用的资源。

  三、强悍性能支撑客户业务成功

  在某电商大客户中,客户业务数据量大、读写请求量大、峰值明显且扩容频繁、需求变化快等特点,对Redis依赖很重、性能要求很高,现网同时维护200+个Redis实例,疲于应付容量扩容、性能下降、链接无响应、持久化失败等各种现网问题,给研发团队带来巨大挑战。

  为了应对业务增长带来的大数据并发,解决系统瓶颈问题,客户决定考察华为云鲲鹏Redis。在多次的技术场景交流、PoC验证后,客户果断决策将自建的Redis实例全部迁移到鲲鹏Redis上,主要收益:

  1) 性能收益。华为云基于全栈整合之后单实例性能达到 10 万QPS以上,Cluster集群支持性能的线性扩展至千万级别,足够应付 2019 年的业务增长目标。

  2) 价格收益。鲲鹏Redis降低客户30%使用成本后,在做到同等规格实例比自建Redis更省钱的同时,资源使用率提升了20%。用花更少的钱,享受更大的容量。

  3) 技术收益。鲲鹏Redis提供专业的技术支持,具备从硬件链路到软件优化的能力,可以提供更优的系统级优化方案。

  迁移是有开销的,包括割接的稳定性测试与保障等,都需要人力投入。但客户CTO表示,华为云提供了很好的迁移保障,大大提升迁移的效率减少了对现网业务的影响。相比长期合作所带来的收益,这个开销基本忽略不计。

  华为云鲲鹏Redis,业界首个基于自研ARM-Based全栈整合的Redis云服务,支持双机热备的HA架构,提供单机、主备、Proxy集群、Cluster集群实例类型,满足高读写性能场景及弹性变配的业务需求。

免责声明:“站长之家”的传媒资讯页面文章、图片、音频、视频等稿件均为自媒体人、第三方机构发布或转载。如稿件涉及版权等问题,请与我们联系删除或处理。稿件内容仅为传递更多信息之目的,不代表本网观点,亦不代表本网站赞同其观点或证实其内容的真实性,更不对您的投资构成建议。我们不鼓励任何形式的投资行为、购买使用行为。

  • 相关推荐
  • 大家在看
  • 华为云重磅发布全球首个双零损耗裸金属容器

    7月20日,在华为云TechWave技术峰会上,华为云基础服务领域总裁高江海正式发布了全球独家双零损耗裸金属容器——华为云第二代裸金属容器,首次在业内实现了资源和性能的零损耗,让容器全面释放裸金属服务器的潜力,加速云原生创新升级。图 零损耗第二代裸金属容器发布高江海表示,“面对快速发展的数字经济,企业需要更加灵活、敏捷、开放、易扩展的应用架构。云原生是帮助企业完成架构升级、拥抱数字经济浪潮的关键选择。华为云在?

  • 华为云IoT如何让“哑”终端进化为智能终端?看完这场直播你就明白了

    谈到物联网,最大的问题之一就在于沟通,不同设备、不同标准之间的沟通,软件与硬件的沟通等。如何解决这种 “沟通”问题,操作系统变得尤为重要。当前很多物联网设备已经从传统意义上的“哑”设备成功转型为智能化设备。Linux系统作为目前物联网设备中应用最广泛的操作系统,华为LiteOS与Linux有什么区别?和其他物联网操作系统对比,华为LiteOS的优势在哪里?采用华为LiteOS系统和用其他系统接入华为云loT平台是否有区别?华为LiteO

  • 华为云EI聚焦三大基础研究创新,助力产业智能升级

    7月27日,华为云举办TechWave人工智能专题日,与政企、科研机构和学术界等代表,共同探讨人工智能前沿技术、行业优秀实践,以及如何推动实现普惠AI。华为云宣布,将聚焦在计算机视觉、决策优化、语音语义三大领域持续技术创新,并发布了业界首创的AI训练及推理边缘小站方案——华为云ModelArts Edge智能小站,以人工智能澎湃技术创新助力产业智能升级。 三大领域技术创新支撑AI行业落地 为了更好地赋能产业升级,华为云EI持续深耕

  • 直播预约!华为云携手优质伙伴聚焦普惠AI如何赋能新零售

    普惠AI如何赋能新零售?如何用 5 秒钟影响消费者购买决策?新零售时代,应用大数据,人工智能等新一代信息技术对商品的生产、流通与销售过程进行升级改造,进而重塑业态结构与生态圈,并对线上服务、线下体验进行深度融合。 7 月 22 日周三上午10:00-12:00,华为云云市场 · 新生态在线直播第六期即将开启,本期话题,华为云将携手南京甄视、品览的二位行业大咖,聚焦普惠AI如何赋能新零售,通过AI和大数据重构线下顾客用户体验,吸?

  • 华为云为政企提供“黑土地”,推动各行各业数字化升级

    7月20日,在华为云TechWave技术峰会上,基于华为30年ICT技术积累和长期服务政企客户的经验,华为云如何帮助政企在新基建时代获取新技术,发展新动能?华为云业务总裁郑叶来与国家信息中心信息化和产业发展部主任单志广、财新传媒主持人袁小珊展开“高峰对话”讨论。在新基建的背景之下,政企数字化转型已成大势所趋,但如何改变现有的组织和业务流程?如何下定决心自我革命?在郑叶来和单志广看来,这正成为政府和企业在智能化升级

  • 中国营销界“奥斯卡”设特别奖 花落《后浪》、《华为云Cloud for Good》等

    7 月 15 日,2020 CAMA中国广告营销大奖颁奖典礼如期举行,将中国广告与品牌大会推向高潮,近 200 家来自全国各地的头部品牌主、创意热店、营销策划机构济济一堂。《后浪》、《华为云Cloud for Good》、《呼吸之树》、《中国银联诗歌POS机》等此前在社会引起强烈反响的作品均受到评委的青睐,喜获大奖。此外,与往届不同的“抗疫特别奖”让本届大会在品牌营销创意之外,更加彰显了品牌的温度和时代的特色。2020 年初暴发的新冠肺炎

  • 金蝶天燕完成华为云Marketplace混合云应用专区基础软件首单

    近日,金蝶Apusic应用服务器软件(以下简称“金蝶AAS”)通过华为云Marketplace混合云应用专区完成首单交易和交付,从上架到成交仅 20 天,成为华为云Marketplace混合云应用专区基础软件品类的第一单。金蝶AAS入驻华为云Marketplace混合云应用专区为了助力政企客户数字化转型和智能升级, 5 月 15 日,华为云发布政企战略和华为云Stack混合云系列新品。华为云Stack是位于政企客户本地数据中心的云基础设施,为政企客户提供在云上和本

  • 华为云5G创新峰会盛大开启 携手互联网行业共启5G联创新时代

    7月17日,华为云2020互联网5G创新峰会在东莞松山湖欧洲小镇举办,围绕5G时代下的互联网发展机遇及创新路径展开深入探讨,同时分享了华为云“5G+X”联创营的相关思考与实践。华为公司副总裁、华为云业务总裁郑叶来到会致辞,他表示“华为云坚持技术创新,同时,我们永远支持客户的多云选择,拒绝一切通过技术和商业手段‘绑架’客户的行为,我们也坚定的认为,只有通过技术创新才能真正地吸引和留住我们的客户。”华为云业务总裁郑叶来5G创新

  • 华为张宇昕:5G创新,华为云助力互联网产业协同共进

    6月17日,以“智能互联,创领未来”为主题的2020互联网5G创新峰会,于广东华为松山湖欧洲小镇正式召开。会上,华为云与诸多伙伴共同探讨了5G时代的互联网发展现状,并发布了三大联创解决方案以及华为云广东专属粤启动仪式暨5G+X联创营广东落地计划,携手伙伴一起抢占互联网5G先机,共筑联创价值。华为云CTO张宇昕抢占互联网5G先机,华为云以新技术驱动新体验、新应用、新产业随着5G商用时代的到来,各行各业都在加速创新,以期通过

  • 三大环节九大措施 华为云空间安全存储您的数据

    数字化全场景智慧时代已至,华为云空间在华为终端云服务“芯-端-云”能力全面开放的大战略下,通过行业领先的存储技术,高级别的身份认证方案以及加密算法;在帐号认证、数据传输、数据存储这三大环节采取九大措施,全面保障用户数据与隐私安全,为每一位用户的云端数据保驾护航。 一、 帐号认证——为用户帐号筑起安全护城河 1、密码安全 为提升密码的安全系数,华为云空间在用户创建帐户时,要求用户密码必须包含大、小写字母和

  • 虎牙联合华为云发布昇腾 AI 内容审核解决方案

    7月17日,华为云举办的“5G+互联网峰会”在东莞松山湖小镇举行,在本次大会上,虎牙联合华为云发布了音视频领域的重磅解决方案——昇腾AI内容审核解决方案。该解决方案基于昇腾全栈创新的能力,由虎牙研发AI识别引擎,通过让机器自动学习理解内容,结合人审团队加强违规内容的审核与过滤。扩展OCR文字、版权等识别方式,增强音频AI审核模型,大幅提高音频监管力度。同时依托于昇腾AI计算解决方案高性能低成本的优势,在保证识别准?

  • 华为云空间 加速全球开发者应用体验创新

    2020年作为5G全面普及的一年,5G智慧化全场景体验已成大势所趋。华为云空间基于华为HMS(Huawei Mobile Services/华为终端云服务)“芯-端-云”全产业链的技术整合与协同能力,让全球开发者轻松实现了应用云端存储与管理、云端文件变化查询与推送通知等多重功能,加速了开发者应用体验创新的步伐。华为云空间芯-端-云能力全面开放 加速应用体验创新2020年1月,华为面向全球开发者正式发布了最新版HMS Core 4.0,向全球开发者提供?

  • 瞬玩科技联合华为云发布“5G众播互动解决方案”

    7月17日,华为云互联网5G创新峰会在东莞松山湖小镇顺利举行,瞬玩科技联合华为云发布基于云手机技术的“5G众播互动解决方案”,瞬玩科技CEO王群与华为云中国区副总裁胡维琦出席本次发布仪式,双方就5G新一代技术推动下,如何赋能互联网行业创新展开深入分享。华为云&瞬玩科技发布众播互动联合解决方案随着基础通信技术的日趋完善和移动终端设备的普及,移动互联网成为了互联网产业发展的重要推动力量,手机更是在上网设备中占据了?

  • 华为云应用平台ROMA发布,使能政企数字化高效创新

    7 月 20 日,在华为云TechWave技术峰会上,华为云应用平台ROMA正式发布。华为云应用平台ROMA源自华为自身实践,聚焦数字化资产全生命周期治理,能为政企客户提供应用的开发、托管、运维和集成一站式能力,帮助客户构筑数字化应用平台,使能政企数字化高效创新。华为云应用平台领域总裁徐峰表示,数字化浪潮席卷全球,华为由于所处的ICT行业特征,提早开启了自身数字化变革。为了支撑数字经济高速发展,华为将成功实践自身数字化转?

  • 用户数据安全存储 华为云空间这些功能大显身手

    在我们日常使用智能机时,数据储存功能极为重要。许多华为手机用户都将个人数据保存在手机本地储存中,却忽视了华为手机自带的云空间这一项功能。华为手机中的云空间看似不起眼,实则大有乾坤,它不仅能帮我们在生活和工作中存储移动设备的日常使用数据,还能帮我们定期备份重要数据和文件,巧妙化解我们数字生活中的种种难题。华为云空间实现云与端的完美融合用户可使用手机、平板和电脑等不同的设备进入华为云空间。手机、平板?

  • 华为云空间服务提供三大环节九层机制 全力保障消费者数据安全

    随着智能终端的发展,用户对手机服务日渐依赖的同时,手机也成了储存信息的数据库。如何让用户能够把常用的文档资料安全备份并保存在云端,通过手机随时随地下载使用,华为云空间服务(HUAWEI Drive Kit)帮开发者们解决了这个问题。开发者们接入华为云空间服务后,即可获得为用户提供储存不同格式文件存储的能力,如储存以JPEG、PDF等格式的扫描文件。开发者的APP使用华为云空间服务,支持数据云端同步、备份、恢复功能,同时还能

  • 华为厦门DevCloud创新中心正式揭牌,“上云用数赋智”新助力

    推动企业上云,为厦门数字产业、鲲鹏计算产业及新基建产业发展进一步赋能、储能。 7 月 6 日上午,“华为厦门DevCloud创新中心”(以下简称创新中心)在软件园三期正式揭牌,同时,创新中心近 2000 平米展厅也正式亮相开放。此次揭牌仪式由厦门市工业和信息化局、集美区政府和火炬高新区管委会共同指导,华为技术有限公司和中软国际信息技术(厦门)有限公司联合主办,厦门信息集团有限公司协办。福建省厦门市集美区委员会书记何东

  • 华为洪方明:5G时代,云、AI、5G融合创新势在必行

    7月17日,2020互联网5G创新峰会在东莞华为松山湖欧洲小镇召开。峰会上,华为与互联网行业伙伴围绕5G时代下互联网的创新升级,以及新兴技术融合裂变带来的5G+X联创价值展开深入探讨。其中,华为云中国区总裁洪方明就“5G创新,选择华为云”展开议题分享,阐述了5G时代互联网行业转型的应用实践和未来展望。华为云中国区总裁洪方明融合创新是互联网企业发展的原生动力伴随数字化进程的高速发展,5G、大数据等新型基础设施建设正在提?

  • “云毕业”引热议 探探上演“毕业云典礼”

    时下正值毕业季,尽管缺失了热闹的毕业典礼,却可以通过“云毕业”给校园生活画上句号。近日,社交平台探探围绕“毕业季的那些事儿”发起多个话题讨论,吸引了不少年轻用户前来参与,在探探平台上演了一场“云典礼”送给这个特殊的毕业季。在结实好友、拓展社交关系之余,越来越多的用户将探探平台作为分享阵地,在围观与交流之间吸纳更多元的观点和建议,上过探探的用户都知道,探探话题页面经常会推出年轻人关心的热门话题,不仅

  • 金蝶云·星空走进华为智能生活馆,与新零售标杆共话企业智慧成长

    2020 年伊始,疫情的冲击便加速推动了实体零售业的变革,全渠道与新零售成为了企业转型的核心手段。小程序、直播带货、私域营销包括社群裂变,线上、线下各种渠道的营销手段层出不穷,在新零售时代,如何快速领跑?如何掌握未来变革的局势?是新零售企业急需解答的问题。 7 月 16 日,【金蝶云·星空新零售论坛暨走进华为智能生活馆】在深圳举行,金蝶中国副总裁张海军,金蝶中小微企业事业部、市场与解决方案中心总监张田彤,亚太?

  • 参与评论
文明上网理性发言,请遵守新闻评论服务协议
  • 热门标签

热文

  • 3 天
  • 7天