首页 > 动态 > 关键词  > 腾讯最新资讯  > 正文

国内首家!腾讯主导Apache Hadoop新版本发布

2018-06-12 14:52 · 稿源: 站长之家用户

近日,腾讯主导的Apache Hadoop2.8. 4 最新版本发布,为国内科技公司在国际开源领域的探索迈出重要一步。

2006 年Apache Hadoop发布, 2008 年Hadoop成为Apache顶级项目。在那时,中国移动、百度、淘宝等都已经开始使用Hadoop技术。Hadoop现在早已成为Apache软件基金会的金牌项目之一。不仅如此,它还孕育了包括HBase、Hive、ZooKeeper等一系列知名Apache顶级项目,它们一开始都是以Apache Hadoop子项目的形式在社区运作、为开发者熟知的。

这次腾讯主导发布的Apache Hadoop2.8. 4 版本,涉及 20 多个大大小小的特性和优化,清单如下:

负责这一版本整体进度的Release Manager,是来自腾讯云产品部大数据及人工智能产品中心的专家研究员堵俊平,他同时也是Apache Hadoop社区PMC的成员。

Apache软件基金会推崇PMC制度,每个开源项目都是一个PMC,即项目管理委员会,可以自行决定技术发展方向和社区运作模式,但需要公开信息,并定期向Apache的董事会汇报,以便董事会监督。

成为PMC的成员可是非常不容易的事,必须要一步步“打怪升级”。要实现从一个普通的Developer到PMC Member的跨越,除了码代码以外,开源社区的组织能力也要强,是不是帅呆了?

堵 俊 平

腾讯T4 大数据技术专家,曾任EMC,VMware资深研发工程师,Hortonworks美国YARN团队负责人。深耕云计算,大数据方向 10 余年,在多个社区均享有极高知名度,包括Apache Hadoop社区Committer & PMC,并领导hadoop 2.6、2. 8 等应用非常广泛的社区release。曾领导开发多个Hadoop在云平台上优化与拓展的项目与产品。目前在腾讯致力于领导腾讯云大数据及人工智能产品研发工作。

小编采访了一下这位男神,接下来就让他给大家讲一下,这次新版本发布过程中的小细节吧。

Q很多人可能听说过“开源”,但了解不多,您可以简单介绍一下吗?

A开源可以理解为“向公众开放源代码”。近几年来热度不减的大数据,就是由开源的软件来驱动整个产业生态的。这里就不得不提到一个里程碑式的开源产品——hadoop:从谷歌的三篇论文,到雅虎的hadoop,开启了如今的大数据时代。

过去的系统软件主要是由闭源软件来驱动的。虽然像操作系统涌现出Linux这样优秀的软件,但后面的数据库和应用服务器,仍然几乎都是从闭源产品去驱动的。

hadoop诞生后的这十年来,一直都是大数据生态的核心,它改变了以往的软件形式,成为了最主流的开源项目之一。现在基本上各家数据平台团队,都是在hadoop生态系统上小修小改,去支持大数据相关的业务系统,可以认为它是开源的一个标准吧。

Q与传统的闭源生态相比,开源有什么好处呢?

A首先是避免“重复发明轮子”的问题,不同的个人和团体可以在公开的代码平台上集体创作,而不是封闭起来做重复的事情。其次是用户不必被绑架在特定的软件平台上,随时可以迁移应用和数据。最后是核心知识产权,比如以前的IOE,不只是没有“中国芯”的问题,上面的应用软件和系统软件可能随时面临被人封锁的危险,而开源就不会有这个问题,它完全公开透明。另外,开源也鼓励公司规划长线的技术投资,而不只是短线的利益操作。

Q腾讯这次主导阿帕奇社区hadoop新版本的发布,在国内算是首次吗?

A对,以前都是由微软、Hortonworks和Cloudera等国外大数据厂家轮流坐庄,而这个版本是第一次完全由国内的公司来支持的。从技术号召力或者对整个开源社区的影响力来说,可以鼓励国内的开发者和公司更积极地参与开源项目贡献,勇于承担更大的责任,更多地回馈开源社区。

Q给整个社会也带来了哪些积极的影响呢?

A首先,大数据软件属于基础技术,这次平台是由腾讯做技术主导的,在国内算是一个突破。其次,对于开发者社区来说,也是比较可靠的一个社区、最热门的项目。

最后,对于普通人来说,也是可以从中受益的。因为基础平台能力的提高,也伴随着数据处理能力的提高,可以让大家的生活更方便。大数据时代到来之前,可能没有那么多面向数据的业务,比如地图业务、O2O业务、智能推荐系统等等。包括现在极具话题性的AI人工智能,如果没有大数据平台的进步,也是发展不起来的。

Q之前是有技术难关的限制吗?

A过去十年,中国的互联网公司发展很快,大家都以追求业务为主,在技术或开源方面做得不够,这是我们相较西方的短板。国内很多公司其实也尝试过开源,但它只有开源的代码,没有开源的社区,也就是自己觉得某个产品做得不错,就把源代码开放出来而已。

源代码的开放和开源社区是两回事,区别就是你这个开源的代码,其它第三方(尤其是你的生态合作伙伴)有没有能力来参与。

现在整个大数据的热潮,其实就是被几款开源的核心软件所推动的。中国的这些大公司在具备了经济实力之后,也开始以开源为手段想要构造一个更好的生态。这可能需要一个过程,但大家已经慢慢意识到这些基础软件跟开源结合的重要性了。

  • 相关推荐
  • 大家在看
  • Apple Pay漏洞可能允许攻击者绕过锁屏进行支付

    英国的一组研究人员发现了与Visa卡和Apple Pay相关的安全漏洞,这些漏洞可能会导致攻击者绕过锁屏并进行欺诈性支付。

  • 疑似NFT炒作?Snoop Dogg发推自称掌管CozomoMedici账号

    本周一,知名说唱歌手 Snoop Dogg 在 Twitter 上宣称自己就是某知名 NFT 传播账号的幕后真人。虽然他此前也发布过“非同质化代币”(NFT),但还是有不少网友对这一观点表示怀疑。外媒调侃道,@CozomoMedici 像是取了文艺复兴时期某位意大利银行家的名字。过去数月,它一直在发推吹嘘 NFT,并且吸引了不少关注者。从网络上的观察来看,@CozomoMedici 似乎在 NFT 项目上花费了数百万美元,且并不建议大家猜测账号主体的真实身份。在

  • Apple Pay被爆安全漏洞 可绕过锁屏进行欺诈性支付

    英国的一个研究小组近日发现了和 Visa 卡和 Apple Pay 相关的安全问题,可能导致攻击者绕过锁屏并进行欺诈性支付。根据该研究,当 Visa 卡在 iPhone 上被设置为苹果的 Express Transit 模式时,该缺陷可能允许攻击者绕过 iPhone 锁屏,在没有密码的情况下进行非接触式支付。苹果的 Express Transit 模式允许用户在不解锁设备的情况下,使用信用卡、借记卡或交通卡快速支付交通费用。研究人员说,该漏洞只影响存储在 Wallet 应用中?

  • Virgin Hyperloop计划在迪拜世博会展示其最新的乘员舱

    据外媒New Atlas报道,Virgin Hyperloop公司在努力研究电磁推进技术,使人员和货物以近乎音速的速度通过近乎真空的管道,同时也在不断迭代用于装载货物的舱体设计。这些商用乘员舱的最新版本将在即将到来的迪拜世博会上展出,届时参观者可以登上乘员舱,了解高速的未来。Virgin Hyperloop公司多年来已经展示了几个版本的乘员舱,最近的一次是在1月份,当时该公司分享了一个想象中的乘客体验的宣传片。这被称为其第一辆商用车,能够

  • Google将推Pixel Pass:在Pixel 6上提供比Apple One更完善的服务

    距离 Pixel 6 系列手机发布还有 1 周左右时间。除了设备本身之外,Pixel 6 在设计、价格和营销方面也会采取全新的策略。据悉,Google 将会推出 Pixel Pass 维护服务,有点类似于苹果的 Apple One 服务,但在内容之外还提供保修等额外的硬件服务。据悉,Pixel Pass 将会整合 Google One、Play Pass、YouTube Premium 等服务。除了这些套餐下包含的各种内容和产品外,苹果和Google的捆绑服务的关键区别在于,后者需要你先购买一台 Pi

  • Google疑将推出类似Apple One的订阅套餐Pixel Pass

    据外媒报道,Google似乎准备宣布一个名为Pixel Pass的新订阅套餐,该套餐将把新Pixel设备跟延长保修和几个Google服务的高级订阅结合起来。现在,Brandon Lee发布的一张图片中详细介绍了这一未经证实的捆绑服务。目前还不清楚Pixel Pass的价格,但文件显示它将通过Google Fi和Google Store跟Pixel设备一起销售。正如Lee所指出的,Pixel Pass似乎结合了苹果的iPhone升级计划(该计划通过月度订阅付款和延长保修期提供iPhone)和Apple

  • 消息称谷歌可能随 Pixel 6 推出对标苹果 Apple One 的 「Pixel Pass」订阅服务

    据androidauthority报道,如今有几种购买智能手机的方式,但看起来谷歌在本月晚些时候推出Pixel6系列时可能会增加另一种选择。一份新的零售泄漏文件详细说明了谷歌Pixel Pass服务的存在。

  • 英伟达宣布今年GTC顶级演讲人 包括PayPal、苹果等公司高管

    苹果人工智能和机器学习研究高级主管Samy Bengio将在11月的英伟达年度GTC大会上发表演讲。

  • AppleWatch11月发货

    10月8日晚间,苹果Apple Watch Series7,正式开启预售,10月15日正式发售。但据官网预计送达显示,部分消费者可能需要在2021/11/04-11/11期间才能收到货。

  • 苹果宣布 AppleCare+ 延保扩展至法国、意大利和西班牙

    在此之前,为iPhone、iPad和Apple Watch延长AppleCare+保险的选项仅限于美国、英国、澳大利亚、加拿大、德国和日本。在苹果AppleCare+支持文件的更新版本中增加了这三个新国家。在所有符合条件的国家,如果你为iPhone、iPad或Apple Watch预付了AppleCare+计划,你可能有资格购买每月更新的新保障。

这篇文章对你有价值吗?

  • 热门标签

热文

  • 3 天
  • 7天