首页 > 传媒 > 关键词 > 汇量科技最新资讯 > 正文

云原生数据湖的探索和实践:当汇量科技 EnginePlus 团队来到阿里云峰会

2021-06-01 16:26 · 稿源:站长之家用户

从人工智能,到大数据,再到云计算,新技术的革命无处不在,不仅深刻改变着我们的日常生活,也已经成为产业数字化转型的必经之路。目前,我国人工智能核心产业规模已超过千亿元,全国在用数据中心机架数的总规模近400万架,大型以上数据中心超过250个。

扑面而来的数字浪潮之下,转型中的企业如何辨明方向、找到最适合自己的抓手和方案?

5月28日,“2021阿里云峰会”在北京开幕。此次峰会以“云上创新”为主题,阿里云与众多嘉宾、合作伙伴共同探讨了企业数字创新的新思路、新策略、新产品、新方案,展开“云上创新”的全景图。

在28日下午举行的“全链路数据服务-大数据及AI论坛”分论坛上,汇量科技 (Mobvista)资深算法架构师、EnginePlus 产品负责人陈绪受邀发表演讲,与嘉宾们分享了云原生数据湖的探索和实践,并介绍了汇量自研开源数据湖框架 StarLake 与新一代“一站式云原生大数据 AI 平台” EnginePlus 。

从数据仓库到湖仓一体:数据分析架构的演进

随着企业业务的快速扩展,衍生数据量面临爆发式增长,企业对数据处理分析的需求日趋迫切。在此背景下,创新技术与方案成为企业刚需,用以解决数据智能处理的挑战。

陈绪介绍称,云原生的数据分析架构,经历了从传统数仓,到数据湖,再到湖仓一体的演进。

汇量科技资深算法架构师、EnginePlus 产品负责人陈绪发表演讲

传统数据仓库强调结构化数据,在当今的互联网应用中会导致建模繁琐、流批架构复杂等一系列问题,传统的 hive 等方案也不再适配云原生的演进趋势。在这种背景下,数据湖应运而生。

数据湖解决了数仓的部分问题,例如实现非结构化数据的处理、流批一体化等等,此外,云上元数据和对象存储能力也在持续不断地演进、优化。在 OSS 的支撑下,计算和存储能够更好地实现分离,数据湖的能力由此得到扩展。

因此,数据湖和数据仓库的功能进一步整合,已经成为当前的趋势。

陈绪表示,从业务视角来看,理想的湖仓一体是以数据湖为“底座”,具备元数据管理强拓展性,同时优化对象存储访问的性能,进而能够优化宽表的实时多流摄入能力,最终能够统一支撑分析和科学 AI 的应用场景。

StarLake:汇量科技自研开源数据湖框架

据悉,为在互联网业务中实践数据湖和湖仓一体化,汇量科技自研并开源了数据湖框架 StarLake,实现大规模数据的实时摄入和更新,高效构建湖仓一体化分析平台,能够更好地解决开发者上云和数据处理的挑战。

据介绍,相比开源同类数据湖框架,StarLake 具有以下特点:

1、支持多级分区和 Range、Hash 两种分区模式,在 Upsert 场景上有较明显的性能提升,能够支撑实时宽表的能力;

2、采用分布式 DB 实现元数据管理,在扩展能力上进一步提升;

3、针对对象存储的专门优化: 通过重写文件解析层与存储层融合,达到计算和 IO 并行化;

4、同时支持 Copy on Write 和 Merge on Read 模式,支持高并发的写入能力;

5、将元数据、分区规则等进一步下推到计算引擎层,进行联合算子优化,提升查询分析的性能。

陈绪提到,在汇量科技,StarLake 数据湖框架并非“单兵作战”,而是作为新一代一站式云原生大数据 AI 平台 EnginePlus 的一部分,在云原生的架构下,更好地为企业提供服务。

EnginePlus:新一代一站式云原生大数据 AI 平台

记者了解到,在 EnginePlus 平台上,StarLake 数据湖可以实现高效的数据摄入,为分析、计算提供“底座”,同时还可无缝对接汇量科技自研的开源机器学习框架 MindAlpha ,对数据进行人工智能建模。

EnginePlus 通过将大数据与云计算、人工智能等信息技术融合创新,实现数据摄入、数据计算、模型训练、在线预测的一站式闭环,帮助客户有效提升数据处理的效率与精准度。在大规模业务的生产验证下,EnginePlus 兼具快速接入、简单易用、高性能、高稳定性等特点。

陈绪举例称,在典型的个性化算法业务场景里,会存在多个实时流,包括用户数据流、item 数据流、交互数据流、离线数据等,通过 StarLake 数据湖框架,实时流可以直接并发入湖,使多个维度的更新同步进行。

结合 OSS 为数据湖提供的存储能力,就能搭建起一个实时化的宽表,在这个过程中,基本消除了传统数仓建模和 ETL 流程,随后就可以对接分析、BI 和 AI 的计算。

如此,业务流程变得更加敏捷,数据架构得到了大幅简化。据了解,这套架构已经在广告、电商、风控等场景得到落地使用。

数据湖场景下,云商产品去向何方?

作为云原生数据湖的深度用户,汇量科技从业务视角分享了 StarLake 数据湖框架的架构实践。从架构角度,针对数据湖的场景,汇量科技希望未来云厂商在产品功能上如何进一步发展?

在演讲后的圆桌讨论环节,陈绪提出,站在互联网业务和云原生架构视角看“湖仓一体”的演进,未来将会是应用场景和底层架构融合“co-design” 的趋势。

陈绪认为,EnginePlus 的数据湖组件 StarLake,根据业务场景以及面向云上对象存储需要有新的融合设计,这同时也是一种新的“co-design”;在湖仓一体趋势中,大家也看到了对象存储和应用层的融合——例如,近期 OSS 推出的加速器就是一个很好的功能;未来,云厂商在对象存储上进一步提升元数据管理、一致性、并发吞吐等能力,更好地支撑各类实时数据分析的场景,能够进一步在湖上统一数据分析体系,是非常有意义的趋势。

陈绪在圆桌讨论环节

伴随着新的行业发展趋势,企业有望实现新一代数据智能开发、解放业务生产力,组成更美好的“云上创新”全景图。

  • 相关推荐
  • 大家在看
  • 摘星!汇量科技荣获“2021云原生实战先锋奖”

    经历着云计算时代的我们,正在看到越来越多的企业登上云端、大展拳脚。下一步,这个行业会聚焦在哪里?新的趋势不言自明:如何使企业架构与云基础设施充分适配、最大化利用云计算的特性,将会是开发者们面临的新挑战——我们将迎来云原生的时代。在云原生这块尚待开发的处女地,一些企业已经通过实践尝试迈出了自己的第一步,成为新世界的拓荒者。据悉, 5 月 28 日,汇量科技(Mobvista)荣获阿里云和信通院联合颁发的“ 2021 云?

  • 创略科技-CDP定义及应用的《觉醒年代》

    CDP是Customer Data Platform的英文简称,中文译作客户数据平台。因为带了“数据平台”这四个字,所以有人会把它当成阿里所提数据中台的衍生品,或归于数据湖一类的IT存储技术。其实不然,小编觉得CDP更像是一种概念,它没有一套严格的标准和执行流程。通过翻阅各类资料,小编发现随着应用范围日益拓展,CDP这个概念也是在不断进化的。-2013 年,CDP之父David Raab对CDP的定义如下:,“CDP是一个营销人员管理的系统,它能够构建一?

  • 倍业科技:广告内容风控是APP广告变现的生死线

    引言令优质APP开发者广告商业化焦虑的,不是流量,而是广告内容差导致的用户减少,当APP接入广告平台后,不意味着开发者就此可高枕无忧,广告变现环节的关键所在正是广告风控把握。APP历经孵化期、引入期、快速成长期,其中的困难和成本付出都无法估量,在获取海量用户后,广告变现已经是产品生命周期的发展核心,然而如今,广告内容监管愈加严格、一些广告平台的无序审核,以及部分开发者的轻视,都导致了广告变现收益的锐减,层?

  • 源自索尼Alpha黑科技,Xperia 1 III开启微单手机新篇章

    如果你关注现今的手机发布会,就会发现,现如今的手机品牌都会大篇幅强调手机在摄影领域的功能,似乎越是拍摄功能强大的手机越能吸引消费者的关注。的确,在当下时代,最简单快捷的拍照方式就是通过智能手机。越来越多的手机品牌,其每一代产品都会升级自身的拍摄功能,更有甚者开始与相机厂商合作推出新机,为的就是实现手机更好的拍摄效果。而家大业大的索尼,并不需要寻求外部厂商的合作,在几代人的印象中,索尼品牌的产品从研

  • 股讯 | 科技股持续遭抛售 美法官或允许开发者绕开App Store

    纳指跌2.67%,报收13031.68点凤凰网科技讯 北京时间5月13日消息,4月美国消费者价格指数创下13年来最大涨幅,加剧了市场对通胀压力的担忧,美股三大股指收跌,科技股继续遭到抛售。截至收盘,道指跌681.5点,跌幅为1.99%,报收33587.66点;标普500指数跌89.06点,跌幅为2.14%,报收4063.04点;纳指跌357.75点,跌幅为2.67%,报收13031.68点。美国主要科技巨头悉数下跌:美国主要科技巨头中国主要科技股大多数下跌:中国主要科技股?

  • 戴尔科技集团APEX改变全球技术消费方式

    中国 北京 - 2021年5月6日新闻摘要·APEX数据存储服务提供简化的“存储即服务”体验·APEX云服务提供跨公有云、私有云和边缘环境一致的云体验·APEX定制解决方案为业界最广泛的基础架构产品组合提供灵活的支付和IT管理服务·客户可通过APEX控制台一站式管理其APEX产品的生命周期·戴尔科技集团和Equinix合作,将APEX的覆盖范围扩大到主机托管站点报道全文戴尔科技集团 (NYSE:DELL) 公布了其APEX“即服务”产品系列,以简化企业的技

  • 小米科技投资个人消费电子产品创新硬件公司“蜂巢科技superhexa”

    企查查APP显示,5月6日,“蜂巢科技superhexa”完成天使轮融资,投资机构为顺为资本、小米科技。

  • 臻迪科技矢志创新 勇当科技强国排头兵

    作为工信部首批专精特新“小巨人”企业,全球唯一横跨空中、水面、水下的人工智能独角兽公司,臻迪科技自2009 年成立以来,一直将技术研发作为企业核心竞争力,在系统设计、系统仿真、图传技术、视觉技术、深度学习、超声/声纳等多个技术领域坚持自主研发,先后推出了Power Eye 黄金眼、Power Ray 小海鳐、Power Dolphin 小海豚、Power EggX 随拍蛋等一系列全球顶尖水平的智能机器人,斩获包括中国设计红星奖至尊金奖在内的国内外?

  • 科技早报 | 比尔·盖茨宣布离婚 Epic起诉苹果垄断案开庭

    凤凰网科技讯 北京时间5月4日消息,昨夜今晨,科技圈都发生了哪些故事,以下要闻回顾:先关注盖茨:比尔·盖茨宣布离婚 结束27年婚姻关系盖茨的推文声明在经历了27年的婚姻生涯之后,美国微软公司联合创始人之一比尔·盖茨在美东时间星期一在个人推特上发布了和妻子梅琳达·盖茨的联名公开信,二人正式宣布将离婚。“在经过了深思熟虑以及对关系的尝试之后,我们作出了结束婚姻的决定。在过去的27年当中,我们抚养了三个孩子,并且

  • 股讯 | 科技股持续遭抛售 PC销售强劲拉动惠普戴尔业绩

    凤凰网科技讯 北京时间5月28日消息,虽然初请失业人数和GDP增幅等经济数据强劲,但科技股依旧遭到抛售,今天美股涨跌不一。截至收盘,道指涨141.59点,涨幅为0.41%,报收34464.64点;标普500指数涨4.89点,涨幅为0.12%,报收4200.88点;纳指跌1.72点,跌幅为0.01%,报收13736.28点。美国主要科技巨头涨跌互现:美国主要科技巨头中国主要科技股大多数上涨:中国主要科技股中概股股价上涨的其他中概股包括:上涨的其他中概股下跌的公

  • 科技早报 | 特斯拉将提前付款购买芯片 京东物流确定香港IPO发行价

    凤凰网科技讯 北京时间5月27日消息,昨夜今晨,科技圈都发生了哪些故事,以下是要闻回顾:先关注特斯拉:消息称特斯拉将提前付款购买半导体芯片据英国《金融时报》报道,特斯拉将提前支付芯片费用,以解决芯片短缺问题。特斯拉正与韩国、美国、中国台湾地区的行业运营商讨论确保芯片供应的提议。特斯拉也在考虑收购一家工厂,以解决全球芯片短缺的问题。(36氪)特斯拉已在全球安装了20万个Powerwall家用储能电池Powerwall家用储能电

  • 科技早报 | SpaceX首次成功测试“星际飞船”原型 特朗普继续被脸书封杀

    凤凰网科技讯 北京时间5月6日消息,昨夜今晨,科技圈都发生了哪些故事,以下是要闻回顾:先关注马斯克旗下公司:终于成功 SpaceX“星际飞船”原型SN15完成10公里飞行测试美国当地时间周三,美国太空探索技术公司(SpaceX)成功完成了对其“星际飞船”最新原型SN15实施的高空飞行测试。这是SpaceX第五次在其得州星舰基地对“星际飞船”原型进行高空飞行测试。此前的四次因为各种原因发生爆炸,测试失败。此次SN15原型在结构、航空电子

  • 友邦保险深化科技与业务融合 科技赋能跃上新台阶

    由于新冠疫情的深远影响,人们深刻地意识到健康的重要性,同时对保险行业有了新的认识,由此保险行业进入高速发展阶段。与此同时保险科技进入高速发展期,未来发展空间广阔。在数字浪潮的促进下,如何重塑竞争优势,深化科技与业务融合成为保险机构思考和探索的课题。在众多探路者中,友邦保险一直以“健康及财富管理伙伴”为自身定位,而近年来深化科技与业务融合的动作日渐为行业关注。在科技变革方面,友邦保险强力发挥科技赋能

  • 腾讯助力开封打造全域智慧文旅城市标杆,提供“科技+ IP+文创”数字化配方

    黄河之滨,千年古都。在中部崛起的历史浪潮中,底蕴深厚的河南正在加速打造数字化新名片。5 月 28 日,腾讯全球数字生态大会城市峰会在开封召开。峰会现场,腾讯与开封市政府正式发布WeCity未来城市发展规划。腾讯云启创新中心(开封)也同时启动,吸引首批优秀企业入驻。这是腾讯近日宣布To B战略升级后的首站城市峰会。借助本次战略升级,腾讯将大力深耕区域市场,加大资源和人才投入,推动数字化下沉,助力区域产业数字化发展。

  • 股讯 | 科技板块领跌美股 特斯拉事故车辆没有开启Autopilot

    纳指跌2.55%,报收13401.86点凤凰网科技讯 北京时间5月11日消息,投资者持续抛售包括科技板块在内的高成长股,买进有望受益于经济复苏的周期股,今天美股收跌,科技板块领跌。截至收盘,道指跌34.94点,跌幅为0.1%,报收34742.82点;标普500指数跌44.17点,跌幅为1.04%,报收4188.43点;纳指跌350.38点,跌幅为2.55%,报收13401.86点。美国主要科技巨头全线下跌:美国主要科技巨头中国主要科技股大多数下跌:中国主要科技股中概股?

  • 股讯|科技板块领跌美股 特斯拉事故车辆没有开启Autopilot

    纳指跌2.55%,报收13401.86点凤凰网科技讯 北京时间5月11日消息,投资者持续抛售包括科技板块在内的高成长股,买进有望受益于经济复苏的周期股,今天美股收跌,科技板块领跌。截至收盘,道指跌34.94点,跌幅为0.1%,报收34742.82点;标普500指数跌44.17点,跌幅为1.04%,报收4188.43点;纳指跌350.38点,跌幅为2.55%,报收13401.86点。美国主要科技巨头全线下跌:美国主要科技巨头中国主要科技股大多数下跌:中国主要科技股中概股?

  • 孚能科技与吉利科技拟设立合资公司建设动力电池生产工厂

    孚能科技与吉利科技经双方友好协商,于2021年5月17日签署了《孚能-吉利动力电池项目合资协议》和《孚能-吉利赣州动力电池项目合资协议》拟设立合资公司。

  • 支持Intel第10代处理器、4K@60Hz,杰和科技最新一代OPS推出

    PC68——杰和科技上一代OPS产品,自上市以来一直受到市场的青睐,在电子白板、智能交互一体机、会议平板等场景中,得到广泛应用。近日,杰和科技隆重推出最新一代OPS产品PC610,在性能、功能、接口等方面,相比PC68 均有大幅提升。支持Intel第 10 代处理器,满足更高性能需求PC610 支持Intel第十代处理器,最大TDP35W。得益于核心制造工艺的升级,相比第 8 代CPU多核性能大幅提升。最大支持4096 x2304@60Hz,显示更流畅PC610 支持4

  • 直播预告:听芯动科技详解构建国产自主GPU产业链生态,不容错过

    5 月 14 日19:00-21:00,由集微网举办的《如何打造自主GPU产业链》龙门阵线上直播,将邀请业界知名企业代表和专家就国产GPU的破局之路进行深入解读与分析,中国一站式IP和定制芯片领军企业芯动科技(INNOSILICON)也将作为国产高性能渲染GPU芯片的代表企业亮相。干货满满,不容错过!近年,GPU的市场潜力持续强劲释放,GPU也成为半导体产业的新高峰阵地。此背景下,国外如英伟达、英特尔、AMD等强将如云,不断创新GPU加快攻城略地?

  • 智能客服小安C位出道!揭秘保险科技第一股众安保险的客服黑科技

    近日,保险科技龙头众安保险的首席客服官活动火热进行中,而在众安的王牌客服阵营中,最引人瞩目的竟然是智能客服小安。小安凭借着7* 24 小时不打烊的服务;覆盖 275 个场景,服务无处不在;超97%的智能IVR意图识别准确率;超90%的问题解决率等多重技能力压全场,C位出道。众安王牌客服天团 智能客服小安C位登场在这个没有风口的年代,服务就是唯一的风口。服务好用户,给用户提供极致的体验是让企业竞争立于不败之地的软实力。实?

  • 热门标签

热文

  • 3 天
  • 7天