首页 > 传媒 > 关键词  > 阿里云最新资讯  > 正文

阿里云新一代离线实时一体化数仓与湖仓一体升级发布

2021-10-27 14:43 · 稿源:站长之家用户

10 月 22 日上午, 2021 杭州云栖大会大数据平台技术论坛中,阿里云和各行业客户、大数据开发者共同探讨大数据平台技术发展趋势及最新演进,围绕业内持续受到关注的数据仓库、数据湖、湖仓一体架构等技术和云上实战经验进行了深入交流,并由阿里云智能计算平台产品与解决方案总经理高雪峰和阿里云智能研究员、阿里云智能通用计算平台MaxCompute、机器学习PAI平台技术负责人林伟分别对阿里云新一代离线实时一体化数仓与湖仓一体进行了全新升级发布,对这两项大数据技术进行了深入解读。

img1

阿里云智能研究员、通用计算平台MaxCompute、机器学习PAI平台技术负责人林伟

云上数仓离在线一体化,实现分析性能提升

实时化和智能化成为云上数仓服务的发展方向。越来越多的企业无法忍受数据经过T+ 1 的离线处理之后,再产生指导业务数据决策的漫长工作,而是希望能在不断产生实时数据的同时,与既有的离线数据一起产生实时洞察,从而立即产生业务所需的策略。

据高雪峰介绍,游戏玩家在游戏体验过程中,按照玩家的即时需求给他推送对当前游戏体验有很大帮助的礼包,在满足玩家体验的同时,也会增加付费转化率;在证券交易实时数据产生时,通过离在线一体化的数据分析实现交易,满足监管机构的管理要求,更好的帮助机构控制风险。

img2

阿里云智能计算平台产品与解决方案总经理高雪峰

云上数仓离在线一体化方案,针对用户在分析领域各种时效性的需求,按需提供服务。离线大数据分析MaxCompute与实时数仓Hologres实现深度集成,对离线数据的实时化分析可以实现 10 倍性能的提升。

在实时数仓的内部构件当中,可以通过实时计算Flink版的能力实现事件驱动的实时数仓的构建。向外可以对数据湖中的数据进行高效的分析,实现数据高速入仓,通过对标准开放的 SQL协议的支持,实现对 19 款主流BI工具的原生支持,帮助客户快速构建从数据集成到数据分析界面的数仓应用。

img3

数据规模越来越大,集群规模越来越大,一定会对大数据平台的运维能力产生很大的挑战,在海量数据可管,可控下,通过查询优化技术和文件存储优化技术将大规模集群的优势发挥到极致,并通过冷热冰存储的自动分层,为用户降低存储增长带来的成本的提升。智能数仓解决了大部分企业运维难的问题,真正做到企业大数据平台的智能驾驶。

湖仓一体新升级2.0,真正做到一份数据,统一管控,多样分析

最近,数据湖的形态被众多企业所使用,这种技术形态决定了企业很容易管理数据,并在其之上使用丰富的开源引擎做各种形态的计算。同时,在传统报表等BI应用催生下,企业已经构建的数据仓库形成了“数据孤岛”,数据间协同分析很难被执行,而且大部分企业没有将所有数据进行大集中处理的能力。

在应用需求催生下,面向不同的仓和湖形态的数据存储和分析,企业有了非常强的数据互通需求。这也是“湖仓一体”的产生的背景。去年,阿里云“湖仓一体”打通云上数仓产品“MaxCompute”与数据湖产品“EMR”,经过一年的客户磨练与沉淀,“湖仓一体”有了2. 0 的新能力。

从购买体验上,用户可以在线上分钟级打通云上Severless数据仓库( MaxCompute)和云原生数据湖(EMR+OSS),实现统一元数据、存储方面的安全互通。不仅更好的支持标准HDFS的数据访问,而且持续优化对OSS对象存储高速访问性能, 扩展支持Hudi、Delta Lake等开源数据湖格式。MaxCompute计算服务通过对智能缓存能力的升级,使访问EMR数据湖中的数据有10+倍性能的提升。

img4

换句话说,湖仓一体2. 0 可以帮助企业消除数据孤岛,通过DataWorks将不同形态的数据统一管理与治理起来,并对特定应用加速分析。同时也可以帮助企业在新建数仓或者数据湖的同时,对既有系统进行充分利用,在应用需求日趋迫切的时候,为企业规避了进行数据大集中的决策性风险。

特别声明:以上内容(如有图片或视频亦包括在内)均为站长传媒平台用户上传并发布,本平台仅提供信息存储服务,对本页面内容所引致的错误、不确或遗漏,概不负任何法律责任,相关信息仅供参考。站长之家将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。任何单位或个人认为本页面内容可能涉嫌侵犯其知识产权或存在不实内容时,应及时向站长之家提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明(点击查看反馈地址)。本网站在收到上述法律文件后,将会依法依规核实信息,沟通删除相关内容或断开相关链接。

  • 相关推荐
  • 大家在看
  • 您有一份阿里云原生直播攻略待查收

    年度云原生顶级技术盛会KubeCon+CloudNativeCon+ Open Source Summit China2021 来了!KubeCon+CloudNativeCon+ Open Source Summit China2021 是由云原生计算基金会 CNCF 主办的云原生开源技术峰会,今年的峰会将延续去年的形式,以线上直播的方式与广大中国开发者和云原生技术爱好者们见面。自 2018 年首次落地中国以来,历年的KubeCon+CloudNativeCon+ Open Source Summit China 都得到了国内外众多 IT 巨头的鼎力支持,汇聚了全

  • 中国工程院院士王坚:阿里云是少数三个有自己清晰架构的计算公司

    凤凰网科技讯 10月22日消息,在“2021 IDEA 大会”的“院士对话”环节,中国工程院院士、阿里云创始人和阿里巴巴集团技术委员会主席王坚表示,当时创立阿里云时,其实不想把它叫成云计算。云计算这个词流行起来,是因为登上美国商业周刊的封面,是做生意的人叫出来的,而不完全是学术性讨论得来,所以我一直有点心结在里面。王坚透露,当时想把“阿里云”命名为通用计算公司,有点像今天的GE。“GE当时为什么叫通用电气,因为电力?

  • WICC 嘉宾就位: Unity、Beeto、荔枝、阿里云…花城论剑

    广州是中国互联网发轫最早的地方,国内早期的游戏厂商、直播平台都诞生在这里,也在出海浪潮之下催生出了一大批社交泛娱乐出海的知名案例。永远不缺风口的互联网江湖,有先来后到的优势之论,也有顺应时势的创新之争。11 月20 日,大佬新秀齐聚 WICC · 广州,他们中,有勇于尝鲜的破局者,也有新近入局的新势力。他们将从基础设施、产品创意、本地运营、内容审核、全球支付、技术创新、流量增长等角度,全面解读社交泛娱乐出海新?

  • 阿里云要在韩国泰国建数据中心 已布局25个地域

    阿里云宣布进一步加码亚太布局:将在韩国及泰国新增两座云数据中心,并于2022年内正式启用,为当地客户提供本地化的数字技术服务。

  • 亿滋中国 X 阿里云,释放新零售的数字化力量

    零售行业是对社会变化感受最深的?业之?,随着??线?活成本的攀?,“?镇?年”代表了?股新的消费?量异军突起。从“进?好货”到“国潮当?”到“原产地”,从“线下?店”到“线上平台”到“零售OMO(Online Merge Offline)”,零售渠道从传统的?卖场?超市、?超市、便利店分布模式,转向线上平台和线下渠道相融合的新零售模式,以满?消费者随时随地购买的需求。亿滋中国对市场变化的应对 – 与阿里云的战略合作随着消费者购物?式和饮?习

  • 两部门约谈阿里云、百度:督促落实防范治理电信网络诈骗工作要求

    据 @工信微报 消息,工业和信息化部网络安全管理局、公安部刑事侦查局近日联合约谈阿里云、百度云两家企业相关负责人,通报了近期两家企业在防范治理电信网络诈骗工作中存在的接入涉诈网站数量居高不下等问题。

  • IDC:2021年上半年阿里云位居中国金融市场第一

    IDC报告指出,2021上半年中国金融云市场规模达到26.5亿美元,同比增长达40.2%。其中,基础设施与解决方案市场规模分别是18.3亿美元和8.2亿美元,增速分别达到38.3%和44.8%。

  • 阿里云宣布将新增韩国泰国两座数据中心 2022年内启用

    ​此前,阿里云已在马来西亚、新加坡、印尼、菲律宾、日本、德国、迪拜、美国等25个地域建立了数百座云数据中心,是亚洲规模最大的云计算平台。今年以来,阿里云在印度尼西亚的第三座数据中心已投入使用,在韩国和泰国的两座新建数据中心也将在2022年正式启用。

  • 阿里云双11上狂欢节来了:最高1.1万元红包、抽iPhone 13 Pro

    2021年阿里云双11大促活动已经开始,活动分为两个阶段,已认证的注册会员都可以参加,红包最高11111元,拉新还可以赢取iPhone 13 Pro等在内的重磅礼品。从活动页面来看,阿里云双11 上云狂欢节活动分为两个阶段:10月24日-10月31日的【预热期】亿元加油包抢先领、拉新赢 iPhone 13 Pro、限量云小宝手办带回家!11月01日-11月11日的【正式期】全场火热大促,热门产品全年底价,新老用户同享。2021年阿里云双11大促主会场:点此进入?

  • 广州一公司“山寨”阿里云商标卖化妆品:被判赔偿300万元

    11月5日消息,从知产宝了解到,广州一公司在化妆品等多个品类使用阿里云商标,以阿里云品牌名义招商、销售化妆品。同时,在官网虚假宣传其为迪奥、香奈儿等国际知名品牌源头厂商”、CCTV.com央视网力荐”、诺贝尔奖”,法院判决其商标侵权并赔偿300万元。据了解,该公司注册地位于广东省广州市,在线上线下推广销售产品中,使用 ALIYUN”、阿里云”、阿里云美丽小铺”等标识。且在微信公众号等第三方网络招商渠道中,使用阿里云”?

这篇文章对你有价值吗?

  • 热门标签

热文

  • 3 天
  • 7天