首页 > 传媒 > 关键词 > 万里数据库最新资讯 > 正文

万里数据库的极致性能是怎样炼成的?

2020-11-26 14:44 · 稿源:站长之家用户投稿

近日,以“自研·智能·新基建——云和数据促创新 生态融合新十年”为主题的第十届数据技术嘉年华(DTC)在北京举办,超 500 家企业、 1500 余名观众现场参会,超 15000 人观看线上直播

万里数据库联合创始人林韶宾受邀参会,并发表《以极致性能驱动数据库技术创新》主题演讲,分享了万里数据库“极致稳定、极致性能、极致易用”的产品理念,以及数据库性能优化经验和成功案例。

分布式架构奠定万里数据库的高性能基础

万里数据库在架构设计和技术研发上就非常注重产品性能。旗舰产品GreatDB Cluster是万里数据库自主研发的一款分布式关系型数据库,主要面向大数据量高并发场景下的结构化数据存储和事务处理,采用shared-nothing架构,降低了竞争资源的等待时间,从而大大提高性能。它具备并行计算、动态扩展、故障恢复、分布式事务等技术特性,能够基于数据分布式部署制定分布式执行计划,通过分布式并行实现高性能。

GreatDB Cluster采用计算存储分离的原生分布式架构,通过分布式并行计算、SQL负载均衡技术实现集群高性能吞吐。同时基于数据库集群优异的线性扩展能力,GreatDB Cluster 吞吐性能随集群节点规模呈准线性提升。

回归数据库的本质:稳定、高效

我们发展信息技术应用创新的目的是解决“卡脖子问题”,CPU是其中的核心,数据库、操作系统、编译器、硬件等都是需要解决的问题。我们的CPU等硬件设备相比之前有了很大的进步,兼容性较好,在功能上基本可以满足需求,但客观来说在性能、能耗、稳定性等方面还会有差距,这时候就需要通过软件来弥补。

针对目前面临的问题,我们的理念是不能只单纯地考虑数据库,而是要从软硬件基础架构出发做通盘的考虑。我们要回归数据的本质:稳定、高效,在产品设计上有所侧重,专注才能做得更专业。对万里数据库来说,我们的产品就是重事务、轻分析,先事务、后分析的发展思路。

在稳定性方面,我们从架构出发,采用shared-nothing 分布式架构,各节点冗余,解决目前硬件潜在的稳定性问题,在软件架构上实现数据的同步、高可靠等,解决数据单点的问题。

在高效性能方面,我们利用分布式技术,同时调度更多CPU,通过并行执行、精确扫描及CPU定向优化,弥补单个CPU带来的性能瓶颈。

数据库性能优化经验分享

万里数据库GreatDB源代码主要为C++,跨平台编译比较友好,通过联合硬件和CPU厂家,针对CPU指令集接口,优化原子操作性能、物理指令等,提升CPU与数据库适配的性能,实现CPU定向代码优化。

在ARM平台迁移中,我们往往会遇到不同的CPU和操作系统,因此我们会遇到非常多的版本,来适配不同的底层软硬件。因此我们通过自动化打包、自动化测试工具,将国产服务器和国产操作系统场景纳入到自动化构建系统内,为各个国产操作系统平台构建自动化编译打包脚本,产品发版时自动产出适配软件版本。

在性能调优方面,我们通过代码、系统、网络、内存等方面实现数据库性能的优化。

经过优化后,我们使用BenchmarkSQL压测工具验证,发现单机数据库性能可提升20%, 6 台服务器规模的分布式数据库性能可提升60%。

极致性能获得众多客户青睐

由于产品性能表现优异,万里数据库中标中国移动自主可控OLTP数据库联合创新项目,在分布式数据库评标中总得分排名第一,中标份额为60%。万里数据库正与中国移动共同推动自主可控数据库产品的创新开发和落地应用,并最终实现OLTP数据库的能力内化,助力中国移动降本增效。截至目前,万里数据库已成功部署在中国移动总部和北京、西藏、山东、广东、河南、四川等多个省市和自治区。

万里数据库已在国家电网公司各大系统中得到了应用,帮助国家电网实现关系数据库自主可控的目标。万里数据库累计支撑国家电网公司 100 多个业务系统建设,包括国网全业务数据中心、S6000、大数据平台等应用,覆盖国网总部、 27 家网省公司及节能服务公司、信产集团等直属单位,服务于国网营销、发展、人资、财务、信通等多个业务部门。

在金融行业,万里数据库已在光大银行的云缴费系统中得到成功应用。云缴费是光大银行TPS最高的系统,荣获 2019 年度人民银行科技发展奖一等奖。该行倾力于打造中国最大的开放式便民缴费平台,原来采用传统的IOE架构,成本较高,性能受限。由万里数据库提供支持,升级为分布式数据库集群后,既保证了云缴费数据的强一致和高可靠,也支持按需在线扩展,性能得到大幅提升,摆脱了对传统的集中式架构的依赖。

互动交流

在分享结束后,林韶宾还与参会嘉宾交流。林总表示:“我们做数据库产品的初心是为了更好地解决用户对于数据库高效、稳定的诉求,现在正好赶上了国家对于信息技术应用创新的大力支持,因此我们更应该抓住机会做好产品,为更多的用户提供自主可控的国产数据库,更好地支撑用户的业务和应用。”

在国际形式日趋复杂的背景下,信息技术应用创新正在高速发展,数据库作为信息化建设必不可少的一环,在满足自主可控的前提下,更稳定、更高效、更好用的数据库产品需求正在逐级放大。未来,万里数据库将不忘DB初心,牢记使命,紧抓核心技术自主创新,始终坚持以“极致性能、极致稳定、极致易用”作为产品设计的核心出发点,完善生态产业链,推动国产数据库信创产业建设和发展。

免责声明:“站长之家”的传媒资讯页面文章、图片、音频、视频等稿件均为自媒体人、第三方机构发布或转载。如稿件涉及版权等问题,请与我们联系删除或处理。稿件内容仅为传递更多信息之目的,不代表本网观点,亦不代表本网站赞同其观点或证实其内容的真实性,更不对您的投资构成建议。我们不鼓励任何形式的投资行为、购买使用行为。

  • 相关推荐
  • 大家在看
  • 易用、稳定、高效,万里数据库开启新一代分布式数据库新纪元

    12月21日--23日,第十一届中国数据库技术大会(DTCC2020)在北京召开,大会以“架构革新高效可控”为主题,设置2大主会场,20+技术专场,近50家数据库厂商、2000余名观众参会。万里数据库重磅亮相本次数据库技术大会,吸引众多行业人士与技术专家的关注。万里数据库联合创始人林韶宾受邀于主会场发表《新一代分布式数据库的产品理念和落地实践》的演讲,从整个数据库行业的发展、国内分布式数据库的技术演变出发,讲述了万里数据库

  • 云原生数据库正当时,华为云TechWave云原生2.0技术峰会等你来

    云原生2.0时代,数据库将面临怎样的变革?云原生数据库将如何如何加速企业数字化转型,助其成为“新云原生企业”。12月30日,来华为云TechWave云原生2.0技术峰会,听华为云数据库技术专家解读云原生数据库的新动向。云原生数据库新时代来了云原生,即云上内生的云能力,基于统一的架构和云原生基础设施,实现多云协同、混合云解决方案、边云协同等能力。云原生时代下,企业使用数据库的方式发生了根本性变化,基于统一云基础设施的?

  • 第二届数据库大赛落幕,全球开发者共同挑战持久内存上的性能极限

    由阿里云和英特尔联合主办的第二届数据库大赛—Tair性能挑战赛于12月13日落幕并举办颁奖典礼。经过125天的层层评选,最终决出了6支优秀团队分别获得了冠亚季军,其中美国的数据库领域自由职业者金星获得本次比赛冠军。Tair是阿里云自研的云原生内存数据库,专注于多数据结构的缓存与高速存储场景,接口兼容开源Redis/Memcache。本次大赛以Redis为代表的内存数据库技术,结合Tair的应用实践并借力英特尔?傲腾?持久内存技术,挑战在持久内?

  • 智伍云数据上线啦,免费好用的各类数据采集API接口

    智伍云数据是智伍应用旗下的一套api数据采集接口系统,通过特定的api接口可以毫秒级采集到你需要的数据,你无需编写任何爬虫,也不用懂采集规则和任何技术,零基础就可以采集到你想要的任何数据,通过任何一门编程语言调用一下智伍云数据的api接口即可,接口成熟稳定,调用简单方便。有很多人的Discuz和微擎插件应用模块,在资讯内容栏目建设方面,都集成进了智伍云数据,全自动无人值守,更新发布跟自己业务有关的资讯内容。很多?

  • DataPipeline亮相2020数据库技术大会,揽获「技术卓越奖」

    近日,第十一届数据库技术大会(DTCC2020)在北京国际会议中心落下帷幕,DataPipeline携旗下实时数据融合平台精彩亮相本次盛会,同时揽获「2020技术卓越奖」。历经十年的积累与沉淀,DTCC已然成为国内数据库领域的技术风向标,见证了整个行业的发展与演变。DataPipeline受邀参与本次顶级数据领域技术盛会,与华为、阿里、腾讯、中兴、SAP、浪潮等国内外33家领先的软件产品、技术方案提供商同台亮相并揽获「2020技术卓越奖」。体现?

  • 专业技术、数据服务赋能快消行业数智化——舟谱数据出席第五届华糖万商大会

    第五届华糖万商大会于 2020 年 12 月6- 8 日在郑州国际会展中心举办。华糖万商大会暨中国糖酒食品精品展(简称AFBC)由华糖云商股份于 2016 年创立,因其万商汇聚、千企领秀、大咖云集,引发中国糖酒食品行业的广泛关注,已成为中国快消品产业领域具影响力的商业展会!舟谱数据,作为国内领先的产业赋能型数据智能公司,也受邀出席了此次会展。在万商大会上,舟谱数据展台醒目的企业logo蓝色,搭配灯带设计,配备场景化的视频解读等,

  • 数据备份不用愁,易我备份专家呵护您的数据!

    现在生活中很多小伙伴基本都离不开电脑,而在此过程中,难免会产生很多的文件。所以,能够做好这些文件的备份,不仅仅可以减小因文件丢失造成的损失,也能够后期提升自己做事的效率。易我备份专家升级13.0,更全面地呵护您的数据安全。(易我备份专家曾获日本最大在线软件平台之一VECTOR平台——最受欢迎人气软件)最新13.0升级版本解决了因快照点问题导致的克隆和备份还原数据不一致的问题;修改启用排除文件选项时备份的实现方式?

  • 阿里云贾扬清:大数据和人工智能一体化是必然趋势

    12月13日,阿里云计算平台负责人贾扬清在Flink Forward Asia 2020峰会上指出,拥抱“融合”是大数据演进的新方向,大数据和人工智能一体化是必然趋势,而人工智能是大数据业务发展的终极出口。同时,他从不同角度讨论了Flink的开源技术,以及云时代下开源技术的发展和未来思考。Flink开源社区 “渐入佳境”从一个普通开源技术爱好者视角,贾扬清将2020年Flink发展定义为“渐入佳境”,主要体现在三大方面:● 技术。今年Flink在技术方面取得

  • “华云数据安超云一体机支持协和武汉红十字会医院上云项目”荣获2020年度优秀案例

    2020年12月23日,由中国信息通信研究院主办,中国通信标准化协会、中国互联网协会、云计算标准和开源推进委员会支持的“2020 GOLF+ IT新治理领导力论坛”在北京顺利召开。本次论坛旨在“让IT治理‘融惠’科技创新”,围绕“治效赋能,领航科技新生态”和 “XOPS 聚力,引领运维新风向”两大主题展开。华云数据作为中国云计算独角兽受邀出席,“华云数据安超云一体机支持协和武汉红十字会医院上云项目”凭借突出的技术实力与优质的?

  • 客户为本,智慧服务——舟谱数据出席第五届华糖万商大会

    2020 年 12 月 6 日- 8 日,第五届华糖万商大会在郑州国际会展中心盛大举办。此次展会设置三大主题展馆,六大主题互动专区,四大互动区,参展企业达 1000 家左右,吸引经销商高达 4 万人,在行业内引发深远影响。舟谱数据作为国内领先的产业赋能型数据智能公司,受邀参与了此次会展。专业实力成就非凡成绩舟谱数据以“让数据智能成就每一位生意人”为使命,为快消经销商群体提供全套的数据智能解决方案及服务。截至目前,舟谱数据?

  • 妄想山海捏脸数据汇总 好看男女捏脸数据一览

    妄想山海最近上线了,在进入游戏之后就是捏脸了,很多玩家对捏脸很头疼,不知道捏什么样的脸比较好看,下面就来为大家分享一下捏脸的数据。

  • 聚焦数据管治,快手举办数据管治技术交流会

    近日,快手大数据团队联合“快手中学”,举办“快手数据管治技术交流会”,各行业数据相关开发者报名参与。快手是短视频行业开创者与引领者,致力于成为全球最痴迷于为客户创造价值的公司,帮助人们发现所需、发挥所长,持续用有温度的科技提升每个人独特的幸福感。在海量的 UGC 数据、业务数据、用户数据背后,支撑快手数据业务的快手大数据平台,秉承“以领先的大数据技术,激活数据价值,赋能业务,打造快手核心竞争力”的使命?

  • 火眼云张陆鹏:数据+营销+全域触达=最短 ToB 获客路径

    我们先来看一组数据:进入2020年,国内数字营销预算增速首次出现放缓趋势。AdMaster 等数据显示,2020年广告主的数字营销预算平均增长14%,较过去三年有所下降。前不久,由秒针营销科学院发布的《2021中国数字营销趋势报告》显示,2021年国内78%的广告主将增加数字营销预算。由此可见,企业的营销预算的高低与整个市场环境的好坏息息相关,然而,无论是增加还是缩减预算,于企业市场营销部门而言,他们的职责或者说企业对他们的要求

  • 天谕手游捏脸数据怎么导入 捏脸数据导入详细方法教程

    天谕手游在最近正式的上线了,在这个手游中也是对喜欢捏脸的玩家很友好,有大量内容可以捏,下面就来为大家分享一下天谕手游捏脸数据怎么导入。

  • 华为云FusionInsight MRS全面升级,构建坚实数据底座使能新云原生企业

    12月30日,华为云TechWave云原生2.0峰会在深圳顺利举行。在此次大会上,华为云FusionInsight首席架构师徐礼锋出席并做主题演讲“华为云FusionInsight MRS云原生数据湖构建一企一湖、一城一湖”。华为云FusionInsight MRS云原生数据湖为政企客户海量数据提供大数据解决方案,支持大数据实时分析、离线分析、交互查询、实时检索等应用场景,助力政企释放海量数据价值,实现一企一湖、一城一湖,业务洞见更准,价值兑现更快!HC2020由

  • 美团也玩大数据杀熟?

    一篇名为《我被美团会员割了韭菜》的文章刷屏,该文作者基于自己点外卖的经历发现,在美团上的同一家店铺,用同一个配送地址,在同样的时间点单,会员比非会员的配送费更高。文章中称,本以为开通外卖会员会省钱,但附近几乎所有外卖商户的配送费都比非会员高1-5元。

  • 产学深度合作,数据赋能科研,共创新文科大数据新生态

    2020年12月,华东师范大学与和鲸科技达成合作,将基于和鲸科技旗下核心产品 ModelWhale 打造一个数据创建、发布、计算、引用、追溯等闭环的数据中台,实现人文社科数据汇聚整合、数据提纯加工、数据服务可视化、数据价值变现,方便科研人员完成跨学科、跨领域的数据研究创新工作。这也是双方在共同建立“四知科研协作平台”后的进一步深化合作。 突破人文社科数据科研瓶颈,打造一体化实践应用平台 随着信息技术的迅猛发展,科学?

  • 工信部信发司一行领导调研华云数据:鼓励“信创云基座”在信创领域发挥更大作用 推动产业高质量发展

    2020年12月29日,工信部信息技术发展司软件产业处处长王威伟,江苏省工信厅软件与信息服务业处处长张巍,无锡市工信局副局长左保春,无锡市工信局信息化与软件服务业处处长肖彬,赛迪研究院信息化与软件产业研究所副所长韩健,国家工业信息安全发展研究中心软件所副所长李强等一行领导莅临华云数据调研考察。华云数据高级副总裁、江苏省公司总经理张华林等领导接待。调研组一行参观了华云数据的企业展厅,张华林详细介绍了华云数据

  • 华云数据夯实数字新基建 与滁州市政府正式签约深耕新一代信息技术产业

    2020年12月31日,滁州华云数据中心项目签约仪式顺利举行。滁州市委副书记、市长许继伟,滁州市人民政府副市长张其广,滁州市人民政府党组成员刘茂松,华云数据董事长、总裁许广彬,董事、首席财务官陆君,安徽公司副总经理王建宏,润迅数据副总经理许冬冬以及滁州市各相关部门领导等出席签约仪式。滁州市作为安徽东向发展的桥头堡、长三角27个中心区城市之一。近年来抢抓长江经济带等重大国家战略机遇,按照“双创+新基建”思路,?

  • 携程回应大数据杀熟质疑

    近日,美团疑似“杀熟”事件不断发酵,引发了网友们对大数据杀熟的关注。今日,有网友反映,“能花钱的软件都在杀熟,淘宝携程美团一大堆,我都对比过。两个手机放一起,链接互相发过去,一样的东西价格都不一样。”

  • 参与评论
文明上网理性发言,请遵守新闻评论服务协议
  • 热门标签