首页 > 传媒 > 关键词  > DataPipeline最新资讯  > 正文

干货!DataPipeline2021数据管理与创新大会全篇划重点

2021-08-17 16:03 · 稿源: 站长之家用户

7 月 29 日,以“万「向」更新”为主题,DataPipeline2021 数据管理与创新大会在北京成功举行!中国信通院云计算与大数据研究所副所长魏凯、中信银行信息技术管理部架构管理处处长卫东、民生银行总行科技大数据管理部技术专家钟行、山东省城商行联盟核心运维组技术专家倪俊甜、中国信息协会专家范克峰、华为计算产品线openGauss数据库产品总经理胡正策与DataPipeline数见科技管理层及来自该领域的专家学者、用户代表、生态伙伴共聚一堂,共话产业机遇与挑战,共探数据管理与创新实践新模式。以期通过“万「向」汇聚,数据新生”的共识,创造行业新价值。

DataPipeline表示,数字化转型被按下加速键,产业升级对实时数据管理能力提出前所未有的要求,所有数据都被要求相互连接并能随时被看到、被感知、被调用。实时数据管理体系的建设既需要看透“前期实时数据平台建设、中期深化实时数据价值释放、远期实时数据驱动业务发展”大周期的视角,也需要从平台类基础设施构建出发、对“人员、流程、技术”持续精进的耐心。这种秉承长期主义的原则与DataPipeline数见科技的产品与技术发展理念不谋而合。

01 数据要素化催生技术与管理变革

数据全生命周期管理与价值导向的运营管理成为发展方向

DSC02736.jpg

中国信通院云计算与大数据研究所副所长魏凯

随着信息经济发展,数据早已和其它要素一起融入经济价值创造过程。中国信通院云计算与大数据研究所副所长魏凯表示:当前,我们处于迎接数据生产要素崛起的新时代。在数字化转型过程中,数据作为生产要素,一方面在驱动产业智能化、催生新的生产组织形态方面的作用不断显现,推动新型产品和服务的创造;另一方面,作为参与分配的要素,数据背后涉及经济结构的变化。它对于我们数据的技术、底层基础设施等有很大的需求,所以我们管理体系、理念、方法论也有很大创新的需求。这主要体现在:

第一. 数据要素化需要一场技术革命:

组织内部从以前追求数据高效处理、追求更快更大,到今天更重视数据更加智能及良好的治理。数据不再是简单地放在数据库里就能产生价值,而是要高质量的融合起来,真正让它成为闭环里面一个不得不做的要素。在组织间,跨机构的数据以前更多是要保护,隔离,锁在保险柜里保密。今后为了做产业互联网,数据要实现上下游打通、政企打通、企业之间打通,所以其关键词变成了开放、融合,从而又有了隐私计算、区块链。我们发现,组织内及组织架构的数据流动在变化,组织的技术重心也在变化。大数据产品技术越来越丰富,应用愈加广泛,数据的一站式、全生命周期管理是我们看到的方向。

第二. 数据要素化也在推动管理的变革:

以数据治理为核心的数据资产管理体系逐步成熟,以数据运营为导向的数据资产管理体系处于萌芽。数据管理2. 0 数据开发运营一体化从管理本位的角度转变到服务业务的角度,数据管理工作更多为了业务的创新、为了发展,这对平台自动化、快速响应需求,多团队协作、运营驱动管理提出更高要求。该趋势下,很多企业开始做了DataOps的实践。DataOps是一种协作式数据管理的实践,致力于改善组织中数据管理者与使用者之间数据流的沟通,集成和自动化。其核心理念有:敏捷开发、治理闭环、安全可信、持续运营,这也确是数据管理的必然方向。

4、数据要素化推动数据管理变革-魏凯v1.jpg

中国信息协会专家范克峰从数字化转型角度谈数据管理之变,也与以上观点相契合。在数字化转型的路径考量上,产品选型和组织方式都是重要环节。针对前者,技术实现方式千差万别,强调企业要根据自身发展情况和行业属性选择适合自己的数字化工具。针对后者,绝不可忽视“人”这一因素的重要作用,要重视管理层的支持和员工层的协作,提升企业整体数字能力。

DSC02628.jpg

中国信息协会专家范克峰

02 DataPipeline:聚焦数据价值释放链路中最初一公里

DataOps是指导DataPipeline产品和服务发展的重要原则

在DataPipeline创始人 & CEO陈诚看来,“聚焦最初一公里”是DataPipeline为产业提供数字化转型创新推动力的最佳注解。他指出,企业数字化转型过程中,越来越多的数据应用被构建出来、数据量大跨度增长,数据的复杂度越来越高,无论从需求侧还是供给侧看,数据的时效性要求都变得越来越强。和直接给客户提供价值的场景应用 “最后一公里”相比,数据融合这“最初一公里”的重要性也愈发凸显,并且具备丰富内涵。

微信图片_202108171046003434.jpg

DataPipeline创始人 & CEO陈诚

在优化数据科学和运营团队之间协作的大量数据管理实践中,DataPipeline逐步发现DataOps是跨越业务与技术、数据与场景、规模与质量等数据驱动商业变革鸿沟的有效路径。DataOps强调了对数据流向价值流转变的数据旅程管理的理念,也是指导DataPipeline产品和服务发展的重要原则,其中最重要的三点:

第一. 拥抱变化。技术场景的快速分化产生大量不同类的存储和计算引擎、信创大势下优秀国产数据库涌现、业务导向下数据结构等的快速迭代、网络等的环境变化,以上多方面的变化使得数据调度及流转变成极其重要的能力。“最初一公里”成为筑牢数据管理根基的关键,也是DataPipeline选择该领域的初心。

第二. 组织协作。数据管理中的角色多样,数据科学家、数据分析师、数据工程师、大数据平台运维人员、DBA等,各类角色及其承载内容变化量大、速度快,日常工作中缺少抓手协作配合。DataPipeline通过产品的四层抽象——系统资源管理、节点管理、链路管理和数据任务管理来帮助组织,给每一类角色提供相应的入口与易用可视化强的界面,从而形成清晰的工作边界与良好的配合。

第三. 自动敏捷。该原则的底层逻辑即低代码、无代码胜过开发,各类策略的配制胜过代码调整。DataPipeline在每一个抽象层级上提供了几十种策略的配制。细致程度可以达到写入组件的冲突,数据结构发生变化,有没有错误队列。客户在应对新变化时,周期可以从以月计改为按小时甚至分钟去计算,效率提升显著。以上都源自DataPipeline过去 5 年对客户场景抽丝剥茧地分析与理解,及技术功能上的细分。

1、聚焦最初一公里-陈诚.jpg

03 以用户为中心,专注场景实践 创造行业新价值

在对于安全、稳定、性能都有着极高标准的金融行业扎根

DataPipeline坚持以用户为中心,找到业务场景与实时数据管理技术的结合点,以场景化的创新解决方案实践,加速行业数字化和智慧升级。

5、民生银行实时数据体系架构设计与演进-钟行.jpg

DataPipeline助力民生银行构建实时数据管理平台,在异构数据实时同步的准确性、系统的稳定性、易用性、安全性等方面很好地满足了需求,实现了民生银行企业级实时数据的采集、同步与融合。基于DataPipeline进行数据标准化开发和数据传输,降低了民生银行开发成本,加快了实时数据价值的释放,为民生银行数据中台战略奠定了坚实的基础。

wecom-temp-86a272930f27fe3a5b65a4ba24dbc5e6.jpg

民生银行总行科技大数据管理部技术专家钟行

民生银行总行科技大数据管理部技术专家钟行表示,在实时数据预处理和应用层数据同步方面,选择DataPipeline作为合作伙伴共同完成实时数据同步管道组件的实施,主要原因为:一是,目前金融行业进入了一个基础设施快速迭代的时期,民生银行也正在积极验证引入各类开源和商业化基础组件满足数据方面需求,DataPipeline是一家专注于提供企业级异构数据融合解决方案的公司,能够持续跟进行业内计算资源、操作系统、数据库、中间件等方面的变化,持续对合作伙伴的需求进行支持;二是,DataPipeline企业级实时数据融合平台的功能和性能,能够很好地满足民生银行当前在实时数据预处理和同步方面需求,产品除了支持丰富的数据源,在任务的资源控制、状态监控、异常处理和恢复等方面设计合理,易于与行内已有数据管理和集中监控系统集成。以DataPipeline产品为基础,相对基于开源组件自研的方案可以加速项目实施、降低成本。

民生银行架构图.jpg

DataPipeline助力民生银行构建实时数据管理平台架构

山东省城商行联盟核心运维组技术专家倪俊甜在演讲中表示:DataPipeline助力山东省城商行联盟构建的企业级数据库准实时数据采集系统对于推动其实现数字化转型、数据规范化和集约化管理、赋能企业经营及增强其持久核心竞争力具有重要意义。DataPipeline可实现数据的秒级实时采集,产品具备统一易用的人性化操作界面,丰富的配置策略可实现对资源的高效充分利用,产品同时具有标准化遵循与前瞻性判断前提下的开放可扩展性,当然最重要的是其金融级的稳定高容错能力。

1.png

山东省城商行联盟核心运维组技术专家倪俊甜

04 升级数据技术,提升企业数字化转型驱动力

用户需求牵引技术持续演进,构建数字化创新基础设施

技术已经成为当前驱动产业变革的重要源动力。产业数智化的时代已然来临,在未来十年,经济发展的新动能将源自技术与“千行百业”的深度融合,新科技产品、新效率以及全新业务形态都将由此融合而生。DataPipeline合伙人 & CTO陈肃表示:DataPipeline的技术架构演进,本质上是一个用户需求驱动的过程。今天我们在3. 0 版本中看到的技术架构形态,是这些年不断在客户真实环境中不断锤炼和演进的结果。

DSC02671.jpg

DataPipeline合伙人 & CTO陈肃

回顾过去 40 年技术发展的路线,DataPipeline认为技术架构是不断取长补短,不断融合的过程,但是数据架构的百花齐放、长期共存,是必然趋势。企业数据基础设施的建设,需要做好三件事:选择、组合和连接。而连接是实现组合的关键。但构建稳定、高性能且能够适应业务发展动态变化的实时数据管道,需要时间、金钱、人力上的昂贵投入且在落地上充满挑战。DataPipeline希望提供一个产品化的解决方案,为用户把这纷繁的事务通过一体化的方式解决掉。以上就是DataPipeline基于对技术发展趋势和产品商业价值的判断而做出选择的基本依据。

3、DataPipeline的技术演进之路-陈肃.jpg

今年五月份,DataPipeline正式发布实时数据融合平台V3. 0 里程碑版,是产品由工具型向企业级数据融合平台进化的关键一步。V3. 0 版本在技术成熟度上有跨越式提升,主要表现在其高性能、高可用、可管理性。

第一. 高性能。在3. 0 版本中,DataPipeline引入了基于内存的数据交换方式,可以有效避免消息分区数量的膨胀带来的性能下降。同时,基于这一模式的端到端处理速度,比2. 0 版本提升超过 2 倍。

第二. 高可用。从1. 0 版本开始,DataPipeline的底层运行时环境就支持高可用。在3. 0 版本中,DataPipeline进一步将产品的所有平台组件全面实现了高可用。用户可以根据对可用性的要求,灵活进行组件节点的部署,避免单点故障。

第三. 可管理性。根据企业分层管理的需求,将系统内资源抽象为节点、链路、任务。每一层都可以进行独立的管理和授权。用户可以在链路上定义字段类型映射、限速、告警等策略,并应用到任务层面,从而实现层级化的精细管理。与此同时,DataPipeline内部的所有重要事件、告警信息都能够推送到用户定义的邮箱、文件路径或Webhook中,从而与企业现有的运维监控体系无缝集成。DataPipeline3. 0 配备了容器、应用、线程、业务四级监控体系,实现全方位的运维提升。

05 凝心聚力,与产业各角色共生共赢

共赴实时数据管理的星辰大海

DSC02950.jpg

华为计算产品线openGauss数据库产品总经理胡正策

华为计算产品线openGauss数据库产品总经理胡正策高度评价了华为openGauss与DataPipeline的过往合作,并介绍了openGauss企业级开源数据库“共建、共享、共治”的生态理念与成果。近日,DataPipeline与GaussDB(for openGauss)完成兼容性测试,并且签署CLA(Contribution License Agreement, 贡献许可协议),正式加入openGauss社区。未来,DataPipeline将充分发挥自主创新能力及产品优势,与华为云合力创造1+ 1 大于 2 的效果,为推动金融等行业数据管理发展贡献力量。

7、openGauss:产业合力共建企业级开源数据库v1.0.jpg

在大会圆桌论坛环节,与会的各位专家共同就“信创产业发展的机遇与挑战”、“金融行业对核心数据系统的诉求”等问题展开讨论。其中,中信银行信息技术管理部架构管理处处长卫东谈到:信创是中国数字经济安全、健康发展的基石。我国的信创产业加速朝着好用和全面推广方向发展,信创产业生态初具规模。面对数字经济的高速发展,信创将给千行百业带来不可估量的价值。技术人员,要有开放的心态,在全球范围内学习并借鉴。更重要的一点,需求市场拉动的同时,以基础软件为代表的IT产业领域也要坚持深化供给侧结构性改革。产品技术专家,要有在丰富场景下捕捉需求的能力,并且要前瞻性地从产品打造层面提出一些新的功能和特性。这对厂商非常重要,同时也提出了比较高的策略研究能力,包括联合用户方联创等的高阶能力。

2.png

圆桌对话

圆桌论坛现场,来自产业各领域的合作伙伴也带来了针对数据管理行业洞察和期待。“势、创新、专注、融合共建、繁荣生态、差异化亮点”——DataPipeline2021 数据管理与创新大会在现场嘉宾对DataPipeline的寄语中圆满闭幕。

实时数据管理平台构建只是开始,数据管理的产业发展长途漫漫。以“坚持技术驱动 深耕企业服务”为初心和锚点,DataPipeline将全力打通“实时数据融合-服务-质量”全流程能力,形成全链路实时数据资产管理业务体系,与合作伙伴共生共赢,为全球行业用户提供稳定高效、安全可靠、开放兼容的数字化创新基础设施,加速企业业务创新和转型升级。

特别声明:以上内容(如有图片或视频亦包括在内)均为站长传媒平台用户上传并发布,本平台仅提供信息存储服务,对本页面内容所引致的错误、不确或遗漏,概不负任何法律责任,相关信息仅供参考。站长之家将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。任何单位或个人认为本页面内容可能涉嫌侵犯其知识产权或存在不实内容时,应及时向站长之家提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明(点击查看反馈地址)。本网站在收到上述法律文件后,将会依法依规核实信息,沟通删除相关内容或断开相关链接。

  • 相关推荐
  • 大家在看
  • Anker推出Soundcore Liberty 3 Pro TWS,提供ANC、LDAC支持和改进设计

    Anker推出了新的Soundcore Liberty3Pro TWS,与上一代产品相比进行了多次升级。最大的一个是主动噪声消除(ANC),它利用6个麦克风和HearID–一个可以显示外观和耳内压力以及噪声大小的功能来个性化噪声消除模式。有三种透明模式,从基本的完全透明模式开始。另外两种方法要么在抑制环境噪声的同时增强人声,要么只是提高人声的音量。BUBS支持多点连接和基于AI的通话降噪。Liberty3Pro Bubs支持高质量LDAC编解码器,并通过高分辨率

  • 孕期血糖管理助手Life Ofmom APP,轻松在家监测血糖

    近年来,随着生活水平的不断提高以及二胎、三胎政策的开放,越来越多的高龄女性加入到生孩子的大军中,使得妊娠糖尿病的发病率逐渐升高。妊娠期糖尿病妈妈如何正确饮食,既不影响胎儿生长发育,又能很好的进行血糖管理成为了当下关注的焦点。“妊娠期糖尿病”是指怀孕前血糖正常,怀孕以后才发生的糖尿病,发生率约为5%,占所有孕妇糖尿病的80%~90%,绝大多数患者随着分娩的结束血糖可恢复正常;“妊娠糖尿病”多出现于妊娠中晚期?

  • Apple Music或即将出现在PlayStation 5上

    据外媒报道,苹果在媒体流媒体大战中对Apple Music下了很大赌注,这家位于库比蒂诺的科技巨头的长期优先事项之一就是将该服务带到尽可能多的设备上。这很有意义,因为这正是媒体平台的目的所在。与此同时,这也是苹果在这个市场上的竞争对手所采取的策略,包括像Spotify和Google的YouTube Music。为此,苹果正在试图将Apple Music带给尽可能多的用户,最近,新证据最终揭示了该服务的下一个目的地之一。日前,有人在PlayStation 5?

  • 苹果tvOS 15现在可用于Apple TV

    tvOS15刚刚发布,带来了常规的错误修复以及一些新功能,其中一些在苹果6月的WWDC大会上已经披露。在新的更新中,有几项是为了改善使用AppleTV用户的音频体验。例如,那些使用AirPods Pro和AirPods Max的人现在能够收听SpacialAudio,这个系统使用设备中的陀螺仪和其他传感器来模拟3-D聆听。如果用户的AirPods在附近,Apple TV上也会出现一个新对话框。该功能类似于目前在macOS上的工作方式。用户可以通过按下电视按钮来配对他们的A

  • Apple TV+喜迎汤姆·汉克斯新片

    继《灰猎犬号》之后,另一部由影坛常青树汤姆汉克斯主演的新片《芬奇》(Finch)将于11月5号登陆苹果旗下流媒体平台Apple TV+:汤姆汉克斯在片中扮演一位名为芬奇的机器人工程师,在太阳耀斑大爆发引发的浩劫中侥幸活了下来。为了躲避高温与高强度紫外线,芬奇在地下掩体中生活了十年,期间只有一条爱犬陪伴左右。芬奇担心他死后无人照顾狗狗,自己动手做了一台机器人并将它命名为杰夫”。一人,一狗,外加一台机甲机器人,三个伙?

  • Prada装不下菜市场

    今年9月底,奢侈品牌Prada与乌中市集跨界联名的快闪店正式开业。快闪店位于上海市徐汇区,为期14天。

  • AppleWatch11月发货

    10月8日晚间,苹果Apple Watch Series7,正式开启预售,10月15日正式发售。但据官网预计送达显示,部分消费者可能需要在2021/11/04-11/11期间才能收到货。

  • Apple Watch Series7怎么使用血氧App 苹果手表血氧监测步骤

    苹果推出的Apple Watch Series7智能手表也支持血氧监测,那么要怎么在苹果手表上使用血氧监测功能的操作呢,这里我们来看下具体的操作方法介绍。

  • Apple Music音乐服务即将登陆PlayStation 5

    自去年 11 月发售以来,PlayStation 5 的在线音乐流媒体服务主要为 Spotify,可以让你在玩游戏的时候听你喜欢的音乐。不过,该游戏主机即将得到另一项音乐服务的支持-- Apple Music。本周早些时候,一位 Reddit 用户发帖称在 PlayStation 5 的音乐菜单中出现了 Apple Music。该选项显然是在他们建立了一个新账户并试图将其与 Spotify 联系起来之后出现的。不过,这个应用程序似乎并不工作。Eurogamer 说,在建立一个新的美国账户时

  • APP们攻克「附近」

    ​以前的互联网,要获取的是「远方」的用户,而现在,互联网产品越来越重视「附近」功能。比如,大众点评的第二个tab在2020年末直接改为地图,抖音现如今也经常刷出本地探店。

这篇文章对你有价值吗?

  • 热门标签