首页 > 传媒 > 关键词  > AI驱动数据治理最新资讯  > 正文

瓴羊Dataphin:AI驱动的数据治理——千里之行,始于标准

2025-01-20 14:54 · 稿源: 站长之家用户

作者: 周鑫 阿里云瓴羊智能科技高档技术专家

近年来,尽管 AI Agent 实现了爆发式增长,但许多企业仍面临 AI 应用与实际业务脱节的难题,其关键原因之一,在于数据质量不佳。根据Gartner的预测,2025 年中国至少三分之二的生成式人工智能项目,将由于数据质量差而面临“终结”。

AI时代,如何才能把握住数据治理机会,让数据真正为业务服务?

瓴羊「数据荟」数据Meet Up 第 3 站线上开讲,为大模型时代的数据治理创新实践献智献策。阿里云智能集团瓴羊高档技术专家周鑫围绕“AI驱动的数据治理”,从数据治理面临的难题出发,聚焦AI时代数据治理机会,剖析了瓴羊Dataphin在面对数据治理这一关键议题时的提效方案。

数据标准:数据治理“化零为整”的核心

从实施链路来看,数据治理为何如此困难?

“整个数据治理实施过程困难重重,主要体现在现状评估难、组织架构复杂、实施成本高,治理迭代难,造成比较大的原因是整个治理过程关注的点太多了,没有核心的抓手”,周鑫表示,大部分企业进行数据治理时,往往经历评估现状、制定目标、执行计划、持续监控四个步骤,每一项都需要大量的工作,导致治理动作非常零散。

这些零散的需求点,导致企业在实施阶段很容易偏离治理目标,缺少一个核心抓手。即使艰难地完成治理,后续迭代也非常困难,随着业务的变化,需要调整治理目标时,没有办法增量的迭代,又需要重头开始评估执行,已完成的治理项的变更影响也需要全量评估,使得治理成本变得非常高。

因此,问题的关键,是找到数据治理的核心抓手——数据标准。

近年来,国家频频颁布数据标准相关政策规范,从《“数据要素x”三年行动计划》到国家数据标准体系,再到全国数据标准化技术委员会,都印证了数据标准的重要位置。

“企业只需完成数据标准的梳理,即可完成大部分数据治理工作”,周鑫表示,以瓴羊Dataphin为例,企业完成业务与数据盘点后,统一进入到Data Catalog,在此基础上梳理数据标准。Dataphin在数据标准的建立过程中会自动生成元数据和内容的监控,数据标准会贯穿数据的整个生命周期,实现对数据的事前、事中和事后的标准落标稽核。

例如,在身份证号的标准设置中,系统会根据用户填写的标准属性,自动生成一系列元数据和内容监控,以及安全的分级。用户在治理过程中,只需关心那些没有满足标准的数据即可。这使数据标准的落标情况,成为衡量数据质量优劣的“晴雨表”,符合数据标准的数据越多,数据质量也就越好。

AI激活一池春水,数据治理的提效之道

AI时代奔迅而至,激活了数据治理的一池春水。在AI技术爆发式增长的当下,数据治理的机会在哪里?

周鑫认为,结合AI对数据治理提效的实现完整的主动数据治理,包括以下几点。

首先,通过AI能很好地理解结构化数据和非结构化的数据,自动化地进行业务梳理, 促进数据标准建设的效率。其次,在数据标准建设完成后,企业可借助AI实现自动治理:构建质量规则,实现分类分级和特征识别,管控数据整个生命周期。最后,数据治理动作完成后,AI还可自动评估治理效果,自动改进治理策略,形成数据治理良性内循环。

Dataphin解决方案:让“好数据”成就“好业务”

“我是电商业务负责人,今年大促目标是GMV提升20%,数据能帮我做什么?”

“我正在准备做运营外投,对于圈选母婴群,希望从数据上结合知识库,有什么建议?”

“我是产品运营,我想了解产品的销量指标定义是什么?”

……

在AI的助力下,以上数据资产应用问题,都可以通过对话的方式得到回应。

而承载这一功能的平台,便是智能小D。

“智能小D承担了数据PD与数据架构师的角色,它可以根据每一条策略,找到与之对应的数据资产表”,周鑫表示,智能小D基于Dataphin打造,由阿里云百炼平台和开源Dify提供支持,擅长数据知识的梳理和应用。未来,智能小D将进一步支持非结构化知识和智能体管理,用户还可通过挂载自定义智能体,实现智能体的个性化定义与功能拓展。

借助智能小D,用户可以直接基于业务需求找数据,如“我要找客户表”、“我要做客户分层,需要哪些表?”、“销量下降明显,可能的原因有哪些?”等,大模型将根据用户需求,通过分解、联想等方式,为其快速提供对应的数据资产表,让用户无需将需求拆解成资产的关键词,也能实现轻松找数。

除此之外,Dataphin还在属性丰富上引入了AI能力,简化了资产上架的流程。以往,一张表上架到目录,需要历经以下几个步骤:针对表及其所有字段,逐一描述其名称与含义;熟知上架目录,制定便于搜索的标签;若过程中发现表中的指标也需要上架,还需返回重新填写目录和标签。

“一套几百个字段下来,至少半小时才能将这张表完整地上架,我们引入AI能力后,把速度提高了近百倍”,周鑫表示,Dataphin可以帮用户智能生成所有描述,规划所有目录,自动识别潜在指标,待用户确认无误后,即可一键上架,几十秒即可完成所有资产上架工作。

在特征识别方面,Dataphin通过引入AI能力,降低了识别门槛,加快了识别速度。例如,在进行性别字段识别时,需要编写SQL能够识别的正则表达式,还需要探查多种数据的表达,例如:(男/女、Malel/Female、Sex/性别),很难一次性枚举种种条件。引入AI能力后,Dataphin即可以自动生成所有的正则表达式,几十秒内即可完成一次特征识别。

周鑫指出,目前Dataphin的数据治理AI计划正处于提效阶段。在这一阶段,Dataphin将进一步引入更多行业和业务知识,增强对非结构化数据的理解能力,并辅助生成质量规则。随着提效阶段的完成,数据治理将迈入自动化阶段,平台将实现质量规则的自动生成、分类分级的自动处理,以及敏感数据的自动识别等功能。最终,在更高阶的智能化阶段,Dataphin将基于对业务流程的深度理解,实现系统自动生成数据标准,全面提升数据治理的智能化水平。

知名的信息技术领域思想佼佼者J. Ladley 在其著作《数据治理》中宣称,数据治理的最终目标是让它不再是一个独立的计划,而是成为业务核心的一部分。未来,瓴羊旗下Dataphin将发挥自身在数据治理领域的深厚沉淀,致力于将数据治理融入业务环节,推动其从支撑性工具走向核心驱动力,以智能化手段赋能企业战略决策与创新实践。

推广

特别声明:以上内容(如有图片或视频亦包括在内)均为站长传媒平台用户上传并发布,本平台仅提供信息存储服务,对本页面内容所引致的错误、不确或遗漏,概不负任何法律责任,相关信息仅供参考。站长之家将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。任何单位或个人认为本页面内容可能涉嫌侵犯其知识产权或存在不实内容时,可及时向站长之家提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明(点击查看反馈联系地址)。本网站在收到上述法律文件后,将会依法依规核实信息,沟通删除相关内容或断开相关链接。

  • 相关推荐
  • 慧科讯业AI赋能数据标签化,破局多模态数据治理难题

    文章探讨了数字化浪潮下数据标签化的重要性及其商业应用。数据标签化作为大数据分析的基础,能帮助企业实现精准营销和智能决策。然而,多模态数据处理复杂、人工标注成本高、业务理解不足等问题制约了数据价值的释放。文章提出数据标签化在构建用户画像、舆情监控、市场趋势预测等场景中的核心价值,并分析了当前面临的挑战:包括传统NLP算法不精准、大语言模型成本高且不稳定等。慧科讯业通过TDaaS服务模式,结合行业领先的数据源、NLP技术和垂直知识图谱,为企业提供高效的数据标注解决方案,显著提升数据处理效率。未来,随着AI技术发展,知识图谱驱动的TDaaS模式将重新定义数据价值变现方式。

  • 破局多模态数据治理难点,数据标注重构企业营销新基建

    文章探讨了AI数据标注行业的发展现状与未来趋势。主要内容包括:1)AI数据标注已成为企业数字化转型的核心基础设施,92.9%数据为非结构化形态;2)营销领域多模态数据融合正在重塑商业决策模式;3)慧科讯业等企业通过TDaaS服务帮助客户构建数据资产;4)数据标注服务商分为国际头部、自有生态型、垂直领域型和综合营销数字化型四类;5)未来趋势包括AI驱动的自动化标注、数据合规升级和人机协同模式创新。文章强调,高质量数据标注服务将助力企业实现从"可用"到"可信高效"的数字化转型。

  • AI竞争关键在于“数据竞赛”, 星环科技AI-Ready Data Platform成破局密钥

    文章探讨了大模型技术红利窗口正在收窄的行业现状。随着Transformer架构主导的算法同质化,模型性能差异从技术代差演变为工程优化。同时指出企业80%非结构化数据仍处于沉睡状态,包括设备日志、工艺文档等数据金矿未被有效开采。在此背景下,企业AI能力建设重心正从"模型军备竞赛"转向"数据基建深耕"。 星环科技发布的AI-Ready Data Platform通过架构革命、治理跃迁与工具链进化三个维度的创新,构建从数据沉淀到AI落地的全栈数据能力。该平台实现了11种模型数据的统一存储管理,并凭借实时湖仓集技术构建端到端秒级分析体系。在金融和制造业的实践中,该平台显著提升了数据处理效率和决策响应速度,验证了数据基础设施重构的商业价值。

  • 给AI打工的人,迷失在数据标注里

    北京798附近的一家咖啡馆内,AI数据标注师廖仔在交谈中一再提到店里的咖啡机器人。 在这家占地近3000平米的咖啡馆内,不少咖啡师围绕着中央圆形岛台工作,但其中最引人瞩目的是一台人型机械臂的咖啡机器人。据说,该机器人的脸还是依据咖啡店主理人建模而成。 如果时间回到三四年前,廖仔想不到机器人可以冲咖啡,也想不到自己会进入AI赛道。 99年出生的他,专科�

  • 火山引擎Data Agent体验中心正式上线!企业级AI数据专家触手可及

    火山引擎数智平台开放企业级数据智能体Data Agent体验中心,用户可零门槛体验"企业数字专家"在数据垂直领域的深度能力。该产品定位为"企业第一位AI数据专家",已上线股票分析、经营复盘、营销策略等6大场景应用。通过"数据+知识"融合、人机协同等核心价值,突破传统分析工具边界,实现从描述性分析到行动建议的跨越。作为L3级智能体,它能将企业内外部信息转化为可量化数字资产,显著降低数据使用门槛,提升决策效率。Gartner预测到2028年至少15%的日常决策将由AI自主完成。火山引擎此举标志着企业数据应用正式进入"动态智能体"时代。

  • 银行业迎战数字化变革新周期 亿信华辰全栈方案破解数据治理困局

    中国银行业面临净息差收窄、资产质量承压与数据要素市场化改革的双重挑战,毕马威报告显示行业已进入长期低利率周期,传统扩张模式难以为继。亿信华辰推出"全栈式"数智服务,通过数据治理、智能决策和监管增效三大模块,助力银行构建数字化底座。其解决方案覆盖数据全生命周期管理,实现从合规管理到智能决策的跃迁。随着监管政策落地,数据能力成为银行转型关键,预计2025年45%银行将因数据质量问题受罚。亿信华辰依托双引擎平台,已形成采集、治理、分析、应用一体化方案,助力金融机构将数据资源转化为核心竞争力,为行业高质量发展注入新动能。

  • 阿里云携手博登智能,升级AI数据标注服务——以数据驱动人工智能

    博登智能与阿里云达成战略合作,共同推动AI数据标注智能化发展。博登智能自主研发的BASE平台通过AI技术实现数据标注自动化,最高提升600%效率,降低成本40%,已服务自动驾驶、智慧医疗等领域。双方将结合博登的数据服务优势与阿里云的技术实力,构建从数据采集到模型训练的全流程解决方案,推动AI技术在千行百业落地。此次合作将加速数据智能服务升级,让更多企业以更低门槛拥抱AI技术。

  • Kalodata-Bo助力中国品牌踏上史诗征程

    美国对中国商品加征关税导致部分外贸企业客户流失30%,部分美国客户为避税将订单转向越南、印尼等地。中国与东盟贸易额连续5年互为最大贸易伙伴,2024年贸易额达6.99万亿元,占中国外贸总值15.9%。东南亚成为中国应对外部压力的关键,越南电子组装70%零部件需从中国进口。RCEP生效后区域内90%货物贸易实现零关税,帮助中国企业分散供应链至东南亚再出口全球。Kalodata-BO平台数据显示,东南亚6.5亿人口中年轻消费群体庞大,2024年越南榴莲对华出口激增48.6%。该平台通过连接10万+品牌与2万+创作者,助力企业开拓东南亚市场。

  • 继小红书后,抖音也开始专项治理“AI起号”!

    ​通过AI技术实现“日产千条视频、周产百个账号”,类似这样的“AI起号流水线”你有听过吗? 近期,抖音开始重拳出击整治这些“AI起号”了!抖音对利用AI进行账号批量生产、传播虚假信息的黑灰产链条展开了重点打击,共清理了311条违规内容,封禁了“心x甜”等15个严重违规账号。 这场针对“AI起号”的专项治理行动,近期不仅仅发生在抖音,此前小红书等兴趣电商平台�

  • 超越OpenAI、拿下全球双料第一,“AI吴彦祖”背后大模型SOTA了!

    超越OpenAI! 国产大模型突袭,AI语音生成天花板被重新定义了。 MiniMax最新发布Speech-02,同时拿下Artificial Analysis Speech Arena和Hugging Face TTS Arena两项全球权威语音基准测评第一!