站长之家首页 > 评论 > 数据库最新资讯 > 正文

国产数据库激荡 40 年

2019-10-11 09:16 · 稿源:CSDN公众号

大数据,云计算,物联网

声明:本文来自于微信公众号CSDN(ID:CSDNnews)),作者:唐小引、屠敏,授权站长之家转载发布。

一年前,在中兴通讯制裁事件之际,笔者曾请教过巨杉数据库(SequoiaDB)联合创始人王涛一个问题,「在 CPU、操作系统、数据库这三个技术软硬件核心领域来看,在哪一方面自主化的步伐能够更快?」彼时,王涛给出了「数据库>芯片>操作系统」的结论,「过去很多原本使用 Oracle、MySQL 的企业已经转用我们国内的数据库,这是已经发生的事情,不是未来时,而是现在时。」

从 2017 年 Gartner 发布数据库系列报告我们第一次看到国产数据库的身影,阿里 AsparaDB、南大通用 GBase、和 SequoiaDB 首次入选,2018 年 11 月,华为云、腾讯云紧接进榜。

今年 5 月,华为将从 2008 年便开始研发的 GaussDB 数据库发布,并率先通过中金国盛金融行业标准符合性试点测评。同时,在 9 月华为全联接大会上,面向开源,正式宣告了鲲鹏智能数据产业联盟数据库产业推进组的成立,汇聚数据库产学研生态各方力量,推动国产数据库发展。

10 月 2 日,国际事务处理性能委员会公布了数据库最新性能测试结果,在 TPC-C 基准测试中,由阿里巴巴集团蚂蚁金服自主研发的分布式关系数据库 OceanBase 打破了由 Oracle 保持了 9 年的 TPC-C 基准性能测试世界纪录,一时引发行业热议。

这既代表数据库自主化步伐更快的这个答案得到了印证,也让国人的目光逐渐地聚焦在了数据库这一领域。

近几年的记忆尤为鲜活动人,但实际上国产数据库的起步要比我们想的更早、更曲折,要想厘清中国数据库几经波折的发展脉络,还需要从数据库的源头开始说起。

数据库的前世今生

回顾整个数据库发展史,避不开的 Oracle。《浪潮之巅》一书中,作者吴军评 Oracle 的兴起,「很大程度上靠的是它最早看到关系型数据库的市场前景,并且在商业模式上优于 IBM。」

同时还颇值得关注的一点,如果没有信息革命,Oracle 创始人 Larry Ellison 也许不会走上数据库之路。

在信息革命之前,对于数据的管理、存储哪有数据库的概念,其实更多地是依靠人工来进行管理。彼时在以 0 和 1 为基础的数字化时代拉开帷幕之际,对于计算机而言,从硬件角度来看,外存只有纸带、卡片、磁带等概念,而软件也尚未有完善的操作系统诞生,这个时候更多的是依靠分拣机、制表机、纪录机等工具,人工手动地记录各种完整的数据。值得一提的是,如今已经 108 岁蓝色巨头 IBM 在这个时期正是凭借着打字机、处理机、以及大规模定制企业的信息技术和业务解决方案而逐渐壮大。

后来到了 20 世纪 50 年代后期,随着磁盘、操作系统、磁芯存储器等数据存储设备的出现,新的数据处理系统迅猛发展起来。其中在操作系统中,也诞生了一种专门管理数据的软件,而它被称之为文件系统。彼时的文件系统对于企业而言,通常被视为一种存储着无数离散的对象的文件柜,不过这也实现了记录内的结构化。

20 世纪 60 年代,当计算机开始广泛应用于数据管理,以及大量信息的涌入时,业界发现传统的文件系统已经远远无法满足对于查询、存储、管理数据的需求,恰逢此时能够统一管理和共享数据的数据库管理系统(DBMS)应运而生,最终基于 DBMS,用户可以更加方便快捷地编组大量数据。1964 年前后,来自军事信息系统的工作人员创下了「(Data Base)数据库」一词,用以表示由分时共享计算机系统终端用户共享的数据集合,可以视作数据库概念的真正诞生。

在后面的一段时间内,数据库系统的发展经历了好几个阶段:层次数据库、网状数据库和关系数据库等。从目前市场来看,关系型数据库已经成为数据库产品中最重要的一员,其中典型的代表企业与产品有 Oracle、开源的 MySQL、IBM 的 DB2、微软的 SQL Server 等等。而在深究关系型数据库为何如此受欢迎时,我们发现这主要是因为传统的关系型数据库可以比较好地解决管理和存储关系型数据的问题。

中国数据库发展史:从依赖进口到自主研发

在回首以上全球数据库发展史的过程中,相对而言,国内数据库技术的普及稍显晚一些。上世纪 70 年代,也就是从 1970 年 IBM 英裔美籍计算机科学家 Edgar F. Codd 提出关系型数据库的理论到  1978 年 Ellison 创办的 SDL 软件开发实验室在 DEC 小型机 PDB-11 上开发出一个代号为 Orace 1 的基于关系型数据库系统,再到 1979 年推出 Oracle 2 并商用的这段岁月里,中国数据库正式开启了理论研究。

Edgar F. Codd,https://amturing.acm.org/award_winners/codd_1000892.cfm

但直至 80 年代初,中国信息技术建设的发展才与国际接上轨道,而彼时在人才、技术等急缺的窘境之下,我们更多地是采用引进国外先进的手段来弥补国产技术的空白点:

  • 1989 年,Oracle 决定进军中国,并将 Oracle 的中文名注册为“甲骨文”。而要说 Oracle 之所以能有今天的成功,除了硬实力,机遇同样很重要。就在 Oracle 成功进入中国市场几年后的 1995 年,国内的邮电部电信总局提出开发和建设市内电话业务计算机综合管理系统,即为“九七工程”,其并于在同年下发了一系列的技术和业务规范,要求全国县以上的邮电局在 1997 年底前实施「九七工程」。1997 年,Oracle 顺利地拿下东三省邮电管理局 5 期工程的大单,由此在中国数据库领域迅速站稳了脚步;

  • 1991 年,Sybase 进入中国大陆,经过一段时间的本地技术人才积蓄与市场开拓后,在 1993 年投资 230 万美元正式建立 Sybase 在中国的公司,注册名称为赛贝斯软件(中国)有限公司;

  • 1992 年,IBM 在正式进军中国之际,启动了「发展中国」的大战略,带来了 DB2 和 Informix 等产品;

  • 1992 年,Microsoft 在北京设立代表处;

  • ……

就在短短这数十年期间,中国数据库行业的格局在激烈的角逐中已然成了型:金融行业中以 IBM 的 DB2、Informix 的为主,电信行业中则被 Oracle 一统了江湖。 

不过在国内互联网起步之初虽有外企数据库技术做支撑,但业界无论是谁,也都清楚地明白那些终归不是自己的东西,更至关重要的还有国外数据库厂商在标准制定中携带私货。因此在整个 80-90 年代期间,我国自主的数据库研发也并没有闲着,且随着互联网门户网站时代的来临,各大 IT 社区也逐渐活络起来,很多技术人/企业也开始从幕后走向了台前,这其中就包含了达梦、人大金仓、神州通用、南大通用等专注于国产数据库的新星们,也包括了阿里巴巴、腾讯、百度等如今的互联网巨头。

风云起,时代变,一切局势都在潜移默化中开始扭转。

在业务规模不断扩大、数据量和业务量呈爆发式增长模式下,以「Oracle 数据库+IBM 小型机+EMC 的开支」高昂输出让不少科技企业逐渐无法忍受,对此,用时任 2012 年支付宝数据平台负责人、阿里巴巴首席 DBA 冯春培的话来解释彼时阿里去 IOE 化的初衷:「互联网企业的 DBA 承受的压力非常大,早在 2004 年时,数据库经常出问题。后来, 随着业务的发超速发展, Oracle 的优化还是承载不了业务的发展,于是开始拆分。这些事情完成由于涉及到安全、交易、涉及到数据的稳定性问题, DB 已经不能做了,这个时候就需要架构开始受到重视。」

在此局面下,开源的 MySQL 迎来了自己的春天,也开始逐渐动摇了 Oracle 一统天下的地位。但人要懂得居安思危,产品亦然,因为“你永远不知道,明天和意外哪个会先来”。

譬如,最初于瑞典 MySQL AB 研发的 MySQL 在经过近 30 年成长后,于 2008 年被 Sun 公司以 10 亿美金收购,然而还未等 Sun 公司对其大刀阔斧完善去推广之际,Sun 公司就又被 Oracle 成功的以 74 亿美元收购了,而意欲和 Oracle 一决高下的 MySQL 也在一时之间成为了它的自家人。

这一消息的到来,无疑意味着 Oracle 在业界的版图又在一夕之间扩大了许多。但对于国内数据库市场而言,这未必是个好消息。直至今日,根据 DB-Engines 数据库流行度最新的排名显示,位居前位的依然是几家老牌数据库企业。

那么,在被 Oracle、MySQL、DB2 等产品蚕食的中国数据库市场,国产自研数据库又该如何崛起?

数据库怎么才能成?

生于 60 年代,85 年读研即开始学数据库的华东师范大学副校长周傲英教授在谈及中国数据库发展时,感怀之情溢于言表,他对 CSDN(ID:CSDNnews)这样说道:「数据库一直都是中国的切肤之痛,从六五(指第六个五年计划)开始,我们就在立项,我们要做自己的数据库,但我们一直没有弄明白,为什么我们做不出来自己的数据库,后来到了互联网时代,我们一下子醒悟过来了,就是生态。这之中既包含用户生态,更包含技术生态,前者是我们要将国内数据库市场空间做大,后者是我们要形成合力,因为数据库要解决的问题是综合性的,只有一起才能将这个事情做好。」

这个理念,与华为 IT 产品线副总裁、智能数据与存储领域总裁周跃峰不谋而合,也正是鲲鹏智能数据产业联盟数据库产业推进组的初心。周跃峰向 CSDN(ID:CSDNnews)说道:「华为做数据库已经很多年了,过去华为做数据库主要是为了解决自有产品的业务连续性问题,华为很多产品中都要使用到数据库,有一种最直接的办法就是集成 Oracle 数据库。大概几年前,我们意识到未来可能会有风险,因此就开始研究自己的数据库,到今天,一方面是可靠性稳定性都已良好到了推向市场的阶段,同时,也是因为美国的事件对我们的业务连续性产生影响,于是就干脆开放出来让大家都来用。同时我们也要意识到,数据库和其他产品不太一样,它是需要生态和合作伙伴的,特别是用户生态和技术生态,光靠自己是远远不够的,需要产学研界一起合作,实事求是地讲,国产数据库相对于美国数据库,在技术上还是有一点差距的,因此对于我们来讲,必须要走到一起。」

的确如周跃峰所言,一直以来,数据库是软件工业的重工业,也和操作系统、中间件并列为三大基础软件。如今随着万物互联设备的不断增多,高流量的数据正在通过网络输出。不言而喻,我们正在进入一个大数据时代,对于数据的处理,也就是对于数据库产业而言,是一个巨大的机会。不过,当前就国产数据库而言,还面临着诸多的难点。

这是一个最好的时代,在当前自主可控的背景下,国产数据库迎来了真正的春天。同时,在 5G、AI、云计算等技术驱动下,国产数据库在分布式、云化这条道路上也开辟出了一条全新的赛道。但同时,我们也面临着非常严峻的挑战。在这个百花齐放百家争鸣的时代,通用数据库的标准、规范绝大多数仍掌握在上文所述的国外数据库大厂手中,我们如何打破常规,将统一通用的标准紧紧地握在自己手中?

在华为的推进下,今年 9 月,包括华东师范大学、人民大学、信通院、中国电子技术标准化研究院、达梦、金仓、神通、神州数码、用友、云和恩墨、CSDN 等在内的数据库产学研界各方代表齐聚一堂,进行了长达 4 个小时的闭门会议。

在这个过程中,不少专家一致认为,数据库的标准很重要,而如何把一些技术做成标准被市场广泛的接受,是业界需要齐心去思考与探索的事情。对此,他们也分享了一些自己的看法与建议:

  • 国内数据库只有遵循统一的标准,将来数据库才能互联互通的,如果企业搞封闭或者各自独立完成,那么将失去共赢的机会;

  • 其次,在面向开源时,这些技术产品/标准首先需要解决信任以及开源知识产权的一些问题,才能被业界慢慢接受;

  • 再者,这些产品还需要在技术上有足够深度的打磨,并长期地使用与优化。

  • 大家在看
  • 相关推荐
  • 误删数据库华为数据库多重防护硬核保证数据安全

    最近有个关于删库的帖子在网上引发热议,数据库的安全可靠性又一次成为很多企业管理者的担忧,数据库安全和备份机制再次成为行业关注的重点。那么,删库的悲剧是否可以避免?删了数据库可以恢复如初吗?安全没到位,再多功能体验也白搭数据安全是守护企业生命的一道有力防线,对企业未来发展至关重要。但绝大多数中小企业的自建数据库和一些云厂商的云数据库服务往往忽略了数据安全的重要性,自身安全防护机制不够严谨,容易面临各种

  • 型号已现身数据库!新款iPad发布在即 升级幅度大

    现在全球爆发的疫情,让苹果不得不重新考虑何时发布新机,毕竟在这个关键时刻,用户的关注度都在疫情上。

  • CD数据库Freedb.org将于3月31日关闭

    社区生成的音乐CD数据库Freedb 将于 2020 年 3 月 31 日关闭。该服务是CDDB的免费替代产品。该服务是作为CDDB的免费替代品而建立的。许多CD刻录应用程序从Freedb中提取元数据以节省用户手工输入的时间,但是这项服务有一些主要的限制,现在已经被MusicBrainz所取代。

  • 前美国国土安全部指控窃取政府机密软件、数据库

    美国司法部指控美国国土安全部(DHS)的一名前代理监察长盗窃专有软件和政府机密数据库。

  • 3月数据库排行:前10整体下行,出新技术了?

    排名方面没有任何变动(仅针对前十),相信很长一段时间内也都不会变动,毕竟巨头的位置不是一时半刻就能动摇的。不过这个月的排行榜还是有值得关注的地方,可以看到,排名前十的数据库有七成的分数都出现了下降,其中前两名 Oracle 和 MySQL 的分数下降最多,分别降低了 4.11 和 7.92 分。

  • 支付宝自研数据库OceanBase正式通过阿里云向全球开放

    3月25日,支付宝表示自研的金融级分布式数据库OceanBase正式通过阿里云向全球开放,企业可在云上获得“支付宝同款”的世界顶级数据库处理能力。OceanBase数据库可实现数千亿条记录、数百TB数据上的跨行跨表事务,同时OceanBase可兼容Oracle和Mysql数据库。

  • ECC 数据库文件显示苹果新 iPad 即将面世:或为三摄 iPad Pro

    在 ECC 数据库中,该设备被描述为「Apple 平板电脑」,型号为 A2229。AppleInsider 认为,该设备可能为此前传闻的三摄 iPad Pro。不过考虑到此前苹果新设备的信息有提前数周甚至数月出现在 ECC 数据库中的情况,目前无法判断近期是否会有新款 iPad 发布。

  • 甲骨文发布2020财年第三季度财报:净利润25.71亿美元,同比下降6%

    美国当地时间3月12日周四,在美股收盘后,甲骨文公司发布了2020财年第三季度财报。财报显示,甲骨文该季度营收为97. 96 亿美元,与2019财年同期的96. 14 亿美元相比增长2%,不计入汇率变动的影响为同比增长3%;净利润为25. 71 亿美元,与去年同期的净利润27. 45 亿美元相比下降6%,不计入汇率变动的影响为同比下降5%。

  • 了解最全球化的币交易所

    据不完全统计,目前币圈有至少 1000 家交易所,流动性、安全性、币种多少、产品等常常是用户选择的重要考量因素。今天为大家安利一家靠谱但又还不算大众的交易所库币,又名KuCoin。库币成立于 2017 年 9 月,目前是全球最流行的交易所之一。Tokeninsight的数据显示,库币的用户来自全球 100 多个国家和地区,分布之广全球No.1, 2018 年,库币获得了两大风投——IDG资本、经纬创投的 2000 万美元A轮融资。值得一提的是,IDG资本也?

  • 华为终端云服务 着力用户隐私数据

    随着科技日新月异的发展,越来越多的人不仅关心自己所使用服务的便捷性,而且更加注重自己的隐私问题。可是处于这个大数据的时代,接触过大数据的人都会很清楚的知道,网络上是没有什么隐私可言的。所以越来越多的人需要自己的手机全力保护自己的隐私问题。华为终端云服务致力于保护用户隐私数据,给用户提供一个更和谐的大数据环境。华为终端云服务是为华为终端用户(手机用户和PC端用户)提供的围绕着数据、出行、应用、娱乐等多种

  • 珀科技集团证通升级,解决互联网时代版权监管难题

    2020 年 3 月 12 日,四川库珀科技集团对一站式电子存证服务,库证通进行了全面升级。在区块链技术的基础上对共识算法进行了改进,使其满足更多使用场景,为用户提供一站式电子存证服务。 随着互联网的进一步升级,越来越多的公司陷入了版权困境。如何及时地发现侵权行为并进行取证让不少公司焦头烂额。库证通围绕着版权可信存证进行深度探索,最终实现为公司解决信息数据非法传播的鉴权问题。 据悉,库证通基于库珀科技集团自主?

  • 纳米数据与OPPO达成数据合作,体育大数据玩转智能语音时代

    都市白领熬夜看球伤不起?NBA狂热粉苦于找不到直播链接?不常看球还想收获一手体育消息?现在开始,OPPO在体育大数据时代给你全方位感官快速无延迟的体育赛事阅览体验!在过去的十年间, 人工智能(AI)经历了快速发展,图形图像信息的处理与语音识别信息的处理都达到了前所未有的高度,无论是VR游戏还是智能机器人,人们的生活中人工智能的身影已无处不在。而作为人工智能的重要分支,AI语音技术,拿起你的手机,送上一句轻轻的问候,你

  • 云测数据:新基建时代的“AI数据雄兵”

    几年前,AlphaGo瞬间点燃了AI的激情与梦想,巨大的光环把AI推向了市场的风口。之后的几年国内的AI创业虽然几经起落,但也逐渐走向成熟。AI产业将逐渐褪去浪漫主义的“光环”,走向实用主义的落地。在 3 月 4 日,国家决策层提出要发力于科技端的基础设施建设,人工智能成为“新基建”七大版块中的重要一项。“新基建”的呼啸而至,显然为中国AI产业的稳步推进起到了关键的作用。简单回顾一下AI的发展历程,AI的三大要素是指算法、?

  • UCloud优刻得数据方舟,强效守护数据安全

    业务连续性能力是企业在面对内外部风险,自我修复和快速反应的能力表现。在数字化时代,重要数据是企业正常运营的核心资产,对企业而言“生死攸关“,企业掌舵人们更是时刻加倍重点关注,丝毫不敢懈怠。但企业的重要数据保护也面临重大风险,如遇到恶意攻击,传统的数据备份亦会随恶意攻击而失效,造成企业也无法通过备份恢复业务数据。应用全部删除了还可以重新部署,数据没有了,企业就会面临生存危机。那么如何避免这样灾难性的

  • 谷歌将在全球新建4个数据中心,可用于国内数据灾难恢复的数据区域

    3月5日消息,谷歌云宣布将开设四个新的区域数据中心。这4个数据中心分别位于印度德里、卡塔尔多哈、澳大利亚墨尔本和多伦多加拿大。在此次消息发布之前,谷歌云已经在印度、澳大利亚和加拿大建立了区域数据中心,随着这些新的区域数据中心的发布,该公司现在可以提供两个地理上相互独立的可用于国内数据灾难恢复的数据区域。

  • 微软必应推出疫情地图数据网站,更新全球数据报告

    3月16日消息,微软必应团队发布了一个门户网站,用于跟踪全球范围内的新冠病毒疫情变化。微软必应发展和分销总经理迈克尔·谢克特表示,“在过去的一周里,许多必应员工在家远程办公为新冠病毒疫情创建了一个地图和权威的新闻资源网站。”该网站的地址为bing.com/covid,是一个基本的跟踪报道门户网站,该网站更新了全球每个国家和地区的疫情数据报告。

  • 新基建”带火大数据、AI,数据存储成刚需

    访谈嘉宾:浪潮存储产品线总经理李辉近日,“新基建”成为业界关注的热点,5G、大数据中心、人工智能、工业互联网等新型基础设施建设正在加速推进。为此,我们邀请到浪潮存储产品线总经理李辉,共同探讨新基建对数据存储产业的影响。新基建驱动5G、大数据、人工智能发展升级Q:新基建,是相较以往铁路、公路、机场等传统基建提出的概念。您如何看待加速发展“新基建”的社会和产业意义?李辉: “新基建”实际上就是新时代下,物质?

  • Convertlab入选胖鲸智2020 Brand Partner TOP 5

    近日,胖鲸智库发布2020年《品牌拍档 Brand Partner 20 | 50》营销行业创新研究,Convertlab作为国内领先的营销技术营销云企业,成功入选“Top50酷公司”,再次实力展现MarTech市场领跑地位。《品牌拍档 Brand Partner 20 | 50》是营销行业专业媒体平台胖鲸智库2020年重磅推出的研究成果。此研究在倾听品牌主切实营销服务需求、收集大量营销服务商信息基础上,抓住营销主线,厘清新兴赛道,用七大主干道和下属新干线来还原营销生态

  • 数据竞赛白皮书》:各地政府积极举办数据竞赛的深度分析

    数据竞赛是指在以真实业务问题为导向,聚合广泛的、跨学科的数据人才的参与,利用数据研发算法模型、探索解决方案的新型研发模式。放眼中国市场,数据竞赛自 2014 年萌芽以来,数量每年以翻倍之势增加,主导者不乏权威的科研机构与高校,亦有来自各行各业的领军企业。身担城市管理与民生重任的政务机构也在“大众创业、万众创新”的政策驱动下,开始意识到数据的力量,牵头组织了多场大型数据竞赛。在“大众创业、万众创新”的号召

  • 神策数据新版本上线,四大特性让数据治理更轻松

    一个好的大数据用户行为分析系统,不仅可以让使用者易用、分析的更深入,更会辅助企业将整体数据质量和准确性提升到一个新阶段。神策数据新版本上线,正是聚焦企业数据治理的强化和数据分析的深入多维进行了全面迭代,从根本上帮助企业灵活多维的进行精准的数据分析。一、源头保障,“强校验模式”让数据准确分析高效数据源不准确是引起数据分析结果不一致,业务与技术低效协同的根本性诱因之一。神策数据新版本在自由数据上报模式

  • 参与评论
文明上网理性发言,请遵守新闻评论服务协议