首页 > 传媒 > 关键词 > 阿里云最新资讯 > 正文

打破阿里云纪录,腾讯云在计算奥运会夺冠凭的是什么?

2016-11-16 17:16 · 稿源:站长之家用户投稿

2016年11月10日,具有计算奥运会之称的Sort Benchmark全球排序竞赛公布结果,其中,腾讯云用98.8秒完成100TB的数据排序,打破阿里云去年创造的329秒记录,以及更早前百度的716秒纪录,这引起了业界的关注。

众所周知,腾讯云直到最近几年才开始发力公有云和大数据业务,而阿里云早从2009年开始就已经大张旗鼓的发展云计算业务,进入2016年全力推进大数据业务。那么,腾讯云在2016年底刷新大数据国际比赛的纪录,是偶然事件还是确有过人之处?记者就此采访了腾讯云副总裁、腾讯数据平台部总经理蒋杰。 

史上最好的大数据比赛成绩

SortBenchmark是一个专门从事排序基准评估的非盈利国际机构,该机构每年主持的SortBenchmark排序竞赛被认为是全球的“计算奥运会”,它主要通过“Sort排序”这个最基本的计算问题来评估一家公司或机构大规模计算的综合实力,不仅全面评测分布式系统软件架构能力,也评测硬件架构能力。这是因为“Sort排序”计算任务虽然比较基础,但兼具测试系统IO(数据吞吐)和CPU资源消耗这两项计算系统的核心性能评估指标,尤其适合以海量数据为基准来测评不同分布式系统的性能。

(上图:近三年来Sort Benchmark最好成绩对比)

今年腾讯云总共参加了Sort Benchmark的两项主要比赛:GraySort和MinuteSort。GraySort比拼的主要是参赛系统对大规模数据的处理能力,MinuteSort则评测参赛系统的效率。具体来说,GraySort比拼的是在最短时间内将总共100TB、一共1万亿条无序的100字节记录、按照从小到大的顺序排序;而MinuteSort比拼的是在1分钟之内能够完成多少数据量的排序。每个比赛还再分为Indy(专用目的排序)和Daytona(通用目的排序)两个子项。

腾讯云“数智分布式计算平台”(以下简称“数智”)参加IndyGraySort测试,每分钟可完成60.7TB的数据排序,去年的最好成绩为18.2 TB/分钟(阿里云)、2014年最好成绩为8.38TB/分钟(百度);参加Daytona GraySort测试,每分钟可完成44.8 TB的数据排序,去年的最好成绩为15.9TB/分钟(阿里云)、2014年最好成绩为4.35TB/分钟(UCSD,加州大学圣地亚哥分校)以及4.27TB/分钟(Apache Spark)。

腾讯云“数智”参加Indy MinuteSort测试的成绩为55TB,去年的最好成绩为11TB(阿里云)、2014年的最好成绩为7 TB(百度);参加Daytona MinuteSort测试的成绩为37 TB,去年的最好成绩为7.7TB(阿里云)、2014年的最好成绩为3.7 TB(三星)。

根据Sort Benchmark官网,可以看到腾讯云此次所取得的成绩即便在Sort Benchmark历史上也算得上是最强。而蒋杰介绍说,腾讯云今年能取得好成绩,不仅得益于腾讯云平台自有的强大调度能力,还由于腾讯云平台对自身的调度系统做了大量优化工作,目前在腾讯内部系统中每天的调度达2亿次,可以说是在海量系统中不断验证磨合出的大数据处理能力。

相应花了多少成本?

在本次Sort Benchmark比赛中,腾讯云参赛系统主要采用的是512台IBM的OpenPOWER服务器和迈络思的100Gb网卡。蒋杰强调,这样配置的平台并不是专门为了本次比赛所搭建,而是来自于腾讯的日常计算服务网络。

具体来说,本次腾讯云的参赛系统配备了512个节点,每个节点配置两颗OpenPOWER处理器、512GB内存、4块华为NVMe SSD盘、100GbMellanox网卡。而去年阿里云配备3377个节点,每节点两颗至强E5-2630芯片、96G内存、12块SATA硬盘、10G网卡。由于技术的飞速进行,两个参赛系统的成本相差不大,腾讯云的系统总体成本甚至还要略低一些。

众所周知,基于RISC架构的IBM Power芯片可同时执行多条指令,可将一条指令分割成若干个进程或线程,交由多个处理器同时执行,因此并行计算性能方面远优于基于CISC架构的英特尔x86芯片。同时,Power架构还可以很好地结合GPU的优势,形成IBM+NVIDIA的强强组合。IBM在2013年对Power芯片技术进行了开放,随后出现了大批定制的OpenPOWER服务器。值得一提的是,OpenPOWER服务器芯片不仅性能更优,而价格甚至要低于英特尔的同等性能芯片。

而基于OpenPOWER服务器的腾讯云大数据实时计算平台,能提供单集群上千台规模实时流式计算;在数据存储方面则支持多重数据备份、万亿数据的存储能力;在任务调度方面,支持百万级任务的毫秒级调用;而且可以自动发现故障节点并自动剔除,通过业务的自动迁移、关键节点的主从热备,实现故障的秒级切换。 

当然,此次参赛也还是经历了不少困难。蒋杰回忆说,在调优的过程中发现网络IO和磁盘IO都达不到理想的极限能力,虽然当时已经跑出了不错的成绩,但整个团队没有放过任何一个可以提高性能的机会。从架构到代码细节再到硬件的驱动层,团队成员加班加点、不停地提出优化方案和尝试,最终达到理想成绩。

背后的腾讯云大数据平台

蒋杰认为,最近几年国内互联网公司频频在该大赛中夺冠,说明国内公司在云计算、大数据等领域已经有了长足的进步,本次夺冠就是腾讯多年来技术积累的成果。在今年实际参赛时,组委会突然宣布比寒提前一个月进行,这出乎很多参赛团队的预料,但这也考验了参赛团队的技术能力。

腾讯云参赛团队所使用的大数据平台“数智”,是腾讯云于2016年发布了的大数据解决方案,这是基于腾讯十余年海量数据处理核心能力所打造的一站式大数据处理平台。在对微信每天160亿级别的多维分析场景中,“数智”平台能够做到6秒返回结果。

“数智”结合腾讯在互联网海量数据处理经验、开源生态和自研组件服务,具有稳定易用、技术开放、秒级多维分析处理、安全可靠等特性。在基础架构上,腾讯云大数据团队对包括YARN、HIVE、PIG、SPARK、Kylin等众多开源组件进行深度优化,大幅提升了平台性能;在使用上,可以按需部署大数据处理服务,包括数据仓库建设、报表展示、数据分析、客户画像等大数据应用。除此之外,“数智”还囊括了腾讯自研的机器学习引擎和内置算法库,可视化操作方式让非技术人员也可能轻松驾驭数据挖掘。

蒋杰介绍说,腾讯云“数智”平台的诞生是因为腾讯要处理海量数据的自身需求。截至2015年底,腾讯QQ、QQ空间、微信等产品线背后,有着3万亿条数据接入、100亿次数据分发、120PB的存储、8.6PB的离线计算、2.5万亿的实时计算、500万次任务调度等亿万级的数据处理经验和能力,这些都是腾讯云“数智”这一大数据产品的基础。

巨大的数据量和高复杂度高的数据分析,对底层技术平台的要求也非常高。春晚摇一摇发红包的千万级并发请求量是抢火车票的一百余倍,要处理的不仅是海量并发请求,还有资源推送、红包收发和金融级的安全防护等等。面临每天的海量多维分析计算需求,已经无法通过传统的开源社区组件来保证分析结果及时效性。 

腾讯云大数据团队针对交互式海量数据分析需求而自主研发了秒级分析平台。“数智”实时检索分析把检索与数据分析有机结合,摒弃传统数据分析的系统数据预加工模式,而是根据用户输入的个性化数据分析需求实时计算,可实现在亿万级数据、万级维度的量级下进行任意维度组合、任意层级下钻等分析作业,结果响应在数秒以内。 

蒋杰表示,“数智”是腾讯云全面开放腾讯18年海量大数据处理经验,让企业在最短的时间内、用最少的资源,通过精准计算来建立核心商业竞争优势。用户采用腾讯云大数据解决方案后,可在短时间内具备秒级响应的实时多维数据分析能力。“数智”目前已经在政府、传统企业和互联网企业中深度应用。

在2015年9月,国务院印发了《促进大数据发展行动纲要》,指出信息技术与经济社会的交汇融合引发了数据迅猛增长,数据已成为国家基础性战略资源。随着腾讯云在国际大数据大赛中取得新的世界纪录,腾讯云的大数据平台势必将与腾讯的“互联网+”相辅相承,成为在十三五期间的大数据高速公路之一。

免责声明:“站长之家”的传媒资讯页面文章、图片、音频、视频等稿件均为自媒体人、第三方机构发布或转载。如稿件涉及版权等问题,请与我们联系删除或处理。稿件内容仅为传递更多信息之目的,不代表本网观点,亦不代表本网站赞同其观点或证实其内容的真实性,更不对您的投资构成建议。我们不鼓励任何形式的投资行为、购买使用行为。

  • 相关推荐
  • 大家在看
  • 阿里加码“云钉一体”战略:阿里云、钉钉全面融合

    9月27日,阿里巴巴公布新一轮战略部署:钉钉升级为大钉钉事业部,与阿里云全面融合,并整合阿里集团所有相关力量,确保“云钉一体”战略全面落地。根据新的战略部署,即日起,原钉钉

  • 阿里巴巴公布「云钉一体」战略,阿里云与钉钉全面融合

    阿里巴巴公布新一轮战略部署,将钉钉升级为大钉钉事业部,与阿里云全面融合,并整合集团所有相关力量,确保“云钉一体”战略全面落地。即日起,原钉钉事业部、阿里云视频云团队、阿里云Teambition团队、企业智能事业部宜搭团队、政企云事业部、数字政务中台事业部、乌鸫科技部分团队,加入新的大钉钉事业部,全面融入阿里云智能。在大钉钉事业部内,新成立“智能协同与视频云事业部“、“行业钉事业部“和“政务中台事业部”。

  • 阿里云为宜家打造智能客户身份管理系统

    13日,记者从阿里云获悉,为宜家打造智能客户身份管理系统已经上线。这意味着宜家数字化转型完成关键一步,线下线上数据资源将可以同步运营。2019年8月底,宜家中国宣布全新的“未来+”战略,首次决定采用数字化和全渠道发展。在转型过程中,宜家面临的一大问题是原有的线下客户身份管理系统不支持社交平台登陆,使得线上线下两个系统的摩擦问题凸显,也同时带来数据割裂问题。阿里云方面介绍,?

  • 钉钉与阿里云全面融合:钉钉CEO陈航将调任 另有任用

    阿里巴巴公布新一轮战略部署:钉钉升级为大钉钉事业部,与阿里云全面融合,并整合阿里集团所有相关力量,确保“云钉一体”战略全面落地。根据新的战略部署,即日起,原钉钉

  • 阿里武卫:预计阿里云将在2021财年内实现盈利

    在今日的阿里巴巴 2020 年投资者大会上,阿里巴巴集团首席财务官武卫表示,预计阿里云将在 2021 财年内实现盈利,菜鸟的经营活动现金流将在 2021 财年转正。

  • 阿里巴巴CFO武卫预计2021财年内阿里云实现盈利

    9月30日消息,据国外媒体报道,阿里巴巴首席财务官武卫周三在投资者日活动中表示,预计阿里云在2021财年内扭亏为盈。阿里巴巴在2021财年第一季度(截至2020年6月30日),阿里云计算业务季度收入同比增长59%至123.45亿元,主要由于公有云及混合云收入均实现增长,并反映来自每位客户的平均收入增长。阿里巴巴曾表示,未来3年再投2000亿元,用于云操作系统、服务器、芯片、网络等重大核心技术研发和数据中心建设。武卫补

  • 阿里云 Teambition 网盘移动端迷你版国庆日上线

    阿里巴巴旗下办公套件Teambition 官方宣布,Teambition 网盘移动端迷你版即将在国庆日上线,马上可以开放更多内测了。根据海报介绍,Teambition网盘国庆上线后可以查看和下载文件,再过一个月支持上传、下载、分享功能更完善,可以自定义底部导航。

  • 喜讯!厦门中拓购物注册局携手阿里云,打造新购物模式

    域名作为企业的网上标识,已经发展成为一种重要的商业标记,承载着巨大的品牌价值和商业价值。近日,购物注册局与阿里云达成战略合作,于 7 月 22 日阿里云重磅上线中文域名——.购物。.购物域名是经互联网名称与数字地址分配机构(简称”ICANN”)批准,专门面向互联网电商场景使用的中文通用顶级域(gTLD)。厦门中拓认为一个好记的域名是企业涉足电商、综合网购平台、自营商城最好的招牌之一,注册.购物域名既可以彰显企业形象又可?

  • 鹏博士与阿里云达成合作 双向赋能企业上云和数字化转型

    9月22日消息,鹏博士和阿里云签署合作协议,双方将在企业云网服务方面携手合作,进一步满足企业上云需求,助推企业数字化转型。 2020年,随着新基建的推进,全球数字经济的背景下,新冠肺炎疫情的出现,三大因素极大促进中国社会全面迈入数字化时代。“上云”作为企业数字化转型的第一个步骤,中国企业全面云化势不可挡。但企业上云之路并非坦途,尤其以中小企业更为明显。由于缺乏专业的人才,同时不具备上云规划、迁

  • 2020云栖大会:群脉成为阿里云权威的生态合作伙伴,共同助力企业实现数智化

    近日,以"数智未来 全速重构"为主题的2020云栖大会选择用数字化的方式(在线直播)举行,本次大会聚焦 AI 智能、数字驱动、新零售、视频云、边缘计算、云原生等技术应用趋势,探讨企业数字化转型及行业智能化升级之路。 在2020云栖大会技术主论坛上,阿里巴巴集团副总裁、数据技术及产品部总经理朋新宇重磅发布了阿里云数据中台新产品——智能货品运营平台Quick Stock,全面升级全域消费者运营平台Quick Audience2.0。此次发布的Q

  • 重磅消息!天威诚信联合阿里云平台助力vTrus 国产证书云上首发

    近日,天威诚信vTrus SSL证书正式上架阿里云平台,双方将进一步深化战略合作,满足阿里云客户对于证书国产化的需求,携手为云上客户提供一站式的安全合规产品采购服务,共同构筑云上数字经济共同体。信息安全产品呈国产化加强趋势随着我国整体信息化水平持续提升,经济和社会对信息化的依赖程度日益提高,一旦数据泄露或者遭到破坏可能会严重危害国家安全、公共利益,而随着身份盗用、交易诈骗、资源滥用、网络钓鱼等安全事件的频?

  • 阿里云HaaS 100开发板开箱试用体验:高性价比IoT应用开发神器

    9月18日,在2020云栖大会上,阿里云智能正式推出一款加速AIoT中小开发者创新的积木式平台HaaS(Hardware as a Service),该产品旨在帮助AIoT中小开发者聚焦业务,低门槛快速组装软硬件积木,实现

  • 云电脑有哪些好处 阿里云电脑无影怎么申请

    近日,阿里云推出了一个全新的云电脑“无影”,根据阿里云的介绍,无影云电脑是一台长在云上的“超级电脑”,在本地没有主机,也看不见电脑CPU和硬盘的影子,硬件设备都集中在云端的数据中心,那么对比普通的电脑,云电脑有哪些特点和优势呢。

  • 阿里云杭州数据中心正式开服 超百万台服务器支持数字生活计算服务

    还在DoNews9月23日(记者 翟继茹)23日,阿里巴巴在杭州的首座超级数据中心——杭州数据中心正式投入使用,将提供云计算、人工智能、物联网等服务,辐射长三角经济带。此前阿里云已经陆续开服的张北、河源、南通、乌兰察布等四个超级数据中心,今年阿里云将有超百万台服务器为数字生活提供计算服务。阿里云IDC研发事业部总经理高山渊表示,阿里云杭州数据中心是面向未来整体设计打造的,应用了达摩院、平头哥等最新研究成果,在规模?

  • 2020年9月国际域名动态:阿里云、西部数码仍稳居前十

    根据中国信息通信研究院9月14日发布的《国际域名政策动态》显示,ICANN日前已发布了最新的注册局数据目录服务(RDDS)路线图,同时对欧盟委员会(European Commission)针对《数字服务法案(Digital Service Act,DSA)》的公开咨询做出了回应。另外,ICANN董事会近日召开会议,计划将“.co”顶级域名转让给哥伦比亚信息通信技术部。在域名市场动态方面,截至2020年9月14日,全球五大传统gTLD及其域名注册量依次为“.COM“(14951.

  • 阿里云数据中台重磅发布生态合作计划

    9月18日,2020云栖大会专场分论坛,阿里云数据中台发布生态合作计划并集中发布了19个聚焦行业细分场景的数据模型、产品及解决方案白皮书。阿里云数据中台将开放其平台的数智化能力,由生态伙伴输入行业经验,共同以产品化、模块化或解决方案等形式对外输出服务,共同帮助企业客户更好地构建数据中台。阿里巴巴数据技术及产品部云上数据中台总监王赛表示,目前生态合作将重点面向伙伴,开放行业数据模型、数据化运营和数字化转型咨询等三大

  • 阿里云电脑无影价格多少钱 无影云电脑贵不贵

    阿里云在近期推出了云电脑无影,根据阿里云介绍无影云电脑在与同级别配置的传统电脑比不仅性能有优势,还便于携带、数据更安全、价格更便宜等多个优点,那么无影云电脑的价格是多少呢。

  • 阿里云电脑无影在哪里申请购买 无影云电脑价格介绍

    阿里巴巴在在2020年9月份正式发布了无影云电脑,这是一个没有主机形式、用一张卡片就可以解锁使用的功能,所有数据都保存在云端服务器中,同时还可以随时下载。这么比较有特点的无影云电脑在哪里可以购买到呢。

  • Graphcore宣布其IPU支持阿里云深度学习开放接口标准ODLA

    9月25日消息, 2020云栖大会上,阿里云宣布对行业开源业界首个深度学习开放接口标准ODLA(Open Deep Learning API)。阿里云在今年5月份的OCP全球峰会上首次对外公布ODLA接口标准,并宣布已率先在Graphcore等生态伙伴上获得支持。IPU是Graphcore为机器智能从零设计的AI处理器,通过ODLA接口,开发者可以在IPU上快速跑通AI Matrix的各类模型。ODLA是一个为加速深度学习的统一异构硬件编程接口。ODLA规范了深度学习计算?

  • 阿里云数据中台新品Quick Stock 助力货品全生命周期管理

    9 月 18 日,在 2020 云栖大会技术主论坛上,阿里巴巴集团副总裁、数据技术及产品部总经理朋新宇重磅发布全新产品——智能货品运营平台Quick Stock。Quick Stock旨在以数据为核心,通过更加精准和可配置的销量预测,以及仓储网络优化和调拨算法逻辑,帮助企业构建产销协同能力,实现高效的货品全生命周期运营。从“货”出发 重构“人—货”关系十年前,人们的购物行为大多限定在“场-货-人”的既定动线中:我们去一个门店或者商场,

  • 参与评论
文明上网理性发言,请遵守新闻评论服务协议
  • 热门标签