首页 > 传媒 > 关键词  > 湖仓最新资讯  > 正文

2025 湖仓(Lakehouse) 趋势展望:开放架构与实时分析融合演进

2025-03-21 11:05 · 稿源: 站长之家用户

1. 为什么湖仓正在成为企业数据架构的必选项?

越来越多的企业正在通过实时数据处理能力构建核心竞争力——用户期待 APP 准确捕捉需求并实时响应,企业员工追求业务系统的秒级反馈,这些场景背后是千亿级数据资产的敏捷调度。

据 IDC 预测,2025 年全球数据量将突破 175 ZB,非结构化数据占比超过 80%,到 2027 年全球数据生成量更将突破 300 ZB。

企业正迎来数据价值释放的黄金阶段,而湖仓(Lakehouse)成为其中的关键引擎:

多模态数据融合:随着 AI 应用深入,结构化、半结构化与非结构化数据的协同分析正创造新的业务场景。湖仓架构原生支持多源异构数据统一管理,让视频分析、文档解析等跨模态分析成为可能。

性价持续突破:采用存算分离架构(如 S3/OSS 对象存储),企业存储成本可降至传统数仓的 10%,同时通过弹性计算资源调度,实现实时查询与批量处理的灵活成本控制。

湖仓架构(Lakehouse)正成为企业实现数据价值的战略性基础设施。

据资料统计,全球实时 Lakehouse 市场规模预计将从 2025 年的 2.85 亿美元增长到 2031 年的 12.41 亿美元,这些数据进一步印证了湖仓架构的战略价值。

通过开放表格式(Iceberg/Hudi/Paimon 等),配合流批一体引擎(如 Flink+StarRocks),企业可实现“One Data,All Analytics”,并以较低的成本获得 PB 级存储和亚秒级查询响应。

过去一年里,湖仓生态链条内工具快速发展壮大,逐渐带领体系走向成熟:

开放表格式统一:Snowflake 开源 Polaris Catalog、Databricks 收购 Tabular,推动 Iceberg 成为跨云数据湖事实标准;AWS S3 与 Azure Data Lake Storage 全面支持 Iceberg,云厂商“站队”开放生态。

元数据层竞争:Unity Catalog 与 Polaris Catalog 开源,标志着元数据管理从“私有协议”走向“开放协作”,企业可跨引擎统一管理权限、血缘与模型。

在数字化转型深水区,湖仓架构为企业提供了“弹性扩展-性能突出-成本可控”三重价值的解决方案。

2. Lakehouse 三大核心技术演进

存储层:统一数据源,低成本支撑全场景分析

存储层实现了“Single Source Of Truth”,支撑 AI 训练、BI 分析等场景的统一存储与用数,避免了传统架构中数据流转产生的损耗,显著降低企业存储成本。

通过开放表格式,存储层支持的数据类型也从结构化扩展到 JSON 等半结构化数据,以及面向 AI 场景的视频、音频等非结构化数据。

另外,存储层还引入了主键索引、向量倒排索引等多级索引体系来提升数据访问效率,同时支持从批量操作到流式实时读写的多种处理模式,满足企业全方位数据需求。

计算引擎层:多元拓展,较好的性价比

计算引擎层呈多元融合发展趋势,典型的如 Spark(批处理)、Flink(流处理)、StarRocks(实时分析)等引擎正在积极拓展自身功能便捷,打破传统细分界限,向统一引擎进化。

同时,引擎层更加注重性价比的提升,通过支持 ARM 架构、GPU 等新型硬件,以及引入全局缓存等创新机制,优化计算效率,在保持引擎专业特性的同时也有更高的资源利用率。

以 StarRocks 为例,作为查询引擎,性能和性价比仍是 StarRocks 优化重点,并将持续增强对湖生态支持,让原本需要多个引擎才能完成的任务用一个统一引擎完成,数据处理更便捷和智能:

提升性价比,提供更好的统计信息收集、索引和物化视图支持以提升性能。

跟进存储层新演进,支持半结构化类型、DELETE Vector 等实时场景优化功能。

实现完整的读写、DDL、存储过程、Table 迁移等功能。

开展数据存储优化工作,如 Compaction 服务和数据自动布局优化。

元数据层:从目录管理迈向数据智能

元数据层的管理范围已从传统的表、视图扩展到 AI 模型、特征、指标等多维度数据资产。通过提供统一的元数据服务,实现对不同计算引擎的无缝对接。在数据治理方面,元数据层也提供了全方位的权限管理、调度编排和数据血缘分析能力。

另外,元数据层也开始与 AI、BI 技术深度融合,支持数据资产的智能发现与管理。目前市场上 Unity Catalog、Gravitino 等解决方案都在积极完善产品能力,推动着元数据管理向更智能化方向发展。

3. 2025 年 4 大趋势预测

随着 Lakehouse 架构在 2024 年获得国际主流认可,2025 年将进入更深层次的发展阶段。基于对市场动态和用户实践的调研,我们认为接下来将有以下四大关键趋势:

趋势一:开放表格式(Iceberg)成为事实标准

随着越来越多企业选择将传统架构(如 Hadoop、ClickHouse 等)迁移到基于开放表格式的湖仓上来,全球市场的开放表格式呈现出“双轨并行”的竞争格局。

海外市场中,Apache Iceberg 凭借其成熟的生态系统和主流云厂商的支持,已确立主导地位,成为开放湖格式的事实标准。而在国内市场,Apache Paimon 则是一部分头部互联网企业的首要技术选择。

二者竞合关系类似于 Spark 与 Flink 的市场格局,两者将在不同场景下相互补充。值得注意的是,Paimon 也已支持生成 Iceberg 兼容的元数据,为用户提供更灵活的技术选择。

趋势二:接口标准化催生出模块化搭建湖仓的机会,更灵活、高性价比

随着开放标准的确立与生态成熟,模块化湖仓架构将获得更多企业(尤其是头部企业)认可。企业可以根据业务需求,通过存储、引擎、元数据的灵活组合,实现特出性价比。

这种转变的主要推动因素:

开放标准日益成熟,使组件之间的协作更加灵活

企业希望避免被单一供应商锁定,实现自由的技术选型

降本增效核心诉求,即更高的性价比

特别是有一定技术实力的头部企业,更倾向于通过灵活组合存储、计算引擎和元数据管理能力,构建最适合自身需求的数据架构,而非选择单一厂商的一体化解决方案。

趋势三:实时湖仓将成为国内企业升级的核心切入点

实时数据处理需求正从“T+1”和小时级向秒级分析演进,这使得实时湖仓成为企业数据架构升级的优选切入点。相比传统架构,实时湖仓方案具有两大优势:满足业务实时性要求和显著降低 TCO(总体拥有成本)。

凭借其出色的流批一体特性,Paimon 在实时场景中表现突出,正获得越来越多国内企业青睐, Paimon+StarRocks 的组合也成为企业实现实时湖仓的选择之一。

镜舟汇总和梳理了过去 1-2 年 StarRocks 在互联网、金融等行业的标杆案例,观察到湖仓技术在中国落地仍需经历三个阶段:

短期:企业会选择以实时湖仓为切入点,通过 Paimon+StarRocks 组合完成快速部署,以响应业务侧需求。同时这一阶段,存算分离将作为重点方案并行发展。

中期:随着生态系统逐步完善,开放湖格式将覆盖更多场景,企业会将选择近实时及部分离线业务迁移到湖仓上来,向统一数据存储与应用靠拢。

长期:传统数仓将逐步被湖仓替代,形成真正统一的 Lakehouse 架构,并支持将 AI 和数据分析场景深度融合,进一步实现数据智能。

趋势四:AI 原生 Lakehouse 成为新的基础设施

湖仓正在成为企业 AI 基础设施的重要组成部分。据毕马威人工智能报告显示,86%的海外企业计划统一其分析数据以支持 AI 开发。而在国内,这一趋势同样明显,诸如腾讯、Bilibili、小红书等头部互联网企业的湖仓架构均涉及了不同程度的 AI 应用。

AI 训练数据需求将推动更多企业从传统数仓迁移到 Lakehouse 架构,例如非结构化数据处理、向量检索等能力诉求。湖仓一体能够支持实时流处理与机器学习,满足模型训练需求。

这四大趋势相互影响、相互促进,共同推动着湖仓技术的演进。不过无论是否考虑选择湖仓架构,企业都需要对自身技术现状进行全面评估。

4. 企业数据平台选型建议

1. 当前企业现有架构评估

首先,企业需要分析当前的数据规模和增长趋势,判断是否面临存储成本过高的问题,是否对实时分析着迫切诉求,以此衡量现有架构对经营与效率产生的影响。其次,要评估现有技术栈的能力和局限性,包括查询性能瓶颈、运维复杂度、上下游拓展适配,以及对新兴 AI 应用的支持能力等。

同时,迁移成本也是一大考量因素。除了基础设施投入成本,还涉及技术、运维团队培训成本、业务中断风险等方面。

通过综合评估,企业能够更清晰地认识到湖仓架构是否真正适合自己,以及迁移方案。

2. 技术选型分析与建议,因需施策

镜舟科技基于过去在湖仓领域的实践经验,梳理了不同业务需求下的技术选型方向,供企业参考:

注重实时分析

有此类场景需求的企业,可以优先关注 StarRocks+Paimon 的组合架构,这种方案不仅能够满足秒级查询需求,还能通过流批一体化处理提供更实时的数据洞察。

以饿了么为例,饿了么从离线数仓 + 实时的 Lamda 架构,升级到 Flink + Paimon + StarRocks Lakehouse 方案,支撑实时交易补贴自助分析、以及客户满意度服务大屏等场景。相比实时数仓,在增加 15% 查询延时下,减少约 90%的存储成本,减少约 50% Flink 计算开销。

注重降本增效

以降本增效为主要目标的企业,选型时可以考虑存算分离架构配合智能缓存策略,成本优势显著,且性能接近存算一体。通过弹性的资源调度和完善的数据生命周期管理,企业可以在满足实时场景需求、保证性能的同时大幅降低运营成本。

注重 AI 应用拓展

开放湖格式(如 Iceberg)在这一场景下具备一定优势,它能够支持多引擎访问,满足不同 AI 训练场景的数据需求,同时通过统一的数据管理降低存储成本,这也解释了为什么越来越多的互联网企业开始将 AI 相关的数据迁移到湖仓架构。

湖仓架构下的数据平台理想实践:小红书

架构升级不仅需要技术选型,更需要深入理解业务需求,并在实践中不断优化和调整。

小红书作为国内领先的互联网企业,通过采用 StarRocks + Iceberg 的湖仓架构,实现了显著的技术突破:

查询性能:P90 查询响应时间提升 3 倍,稳定在 10 秒以内

存储效率:相比原 ClickHouse 架构节省 50% 存储空间

数据治理:引入智能排序键选择机制,持续优化查询效率

架构灵活性:支持多种 Join 策略,提升数据自助分析能力

通过一系列创新性的技术方案,包括实现 DataCache 本地缓存、引入 Z-Order 智能排序、支持灵活的 Join 策略等,将 P90 查询响应时间提升了 3 倍。同时,通过数据跳过(Data Skipping)机制的优化,他们在存储效率上也取得了突破性进展,相比原架构节省了 50%的存储空间。

5. 结语

在数据要素价值化与 AI 爆发的双重驱动下,湖仓一体(Lakehouse)已从技术概念演进为支撑企业数字化转型的核心底座。建议企业关注三个重点方向:

1. 建立面向开放表格式的数据治理体系,通过 Iceberg/Hudi/Paimon/Delta Lake 等标准接口实现跨平台数据引用;

2. 将实时湖仓能力建设纳入战略优先级,借助 StarRocks 等实时引擎释放流式数据价值;

3. 在 AI 基础设施规划中,预留非结构化数据处理能力,构建支持多模态数据应用的未来架构。

作为开源项目 StarRocks 的主要贡献者,镜舟科技也凭借对其深度优化和全栈技术整合能力,将 StarRocks 的高性能 OLAP 引擎与现代湖仓架构相结合,助力企业以低成本、高 ROI 投入湖仓浪潮。

推广

特别声明:以上内容(如有图片或视频亦包括在内)均为站长传媒平台用户上传并发布,本平台仅提供信息存储服务,对本页面内容所引致的错误、不确或遗漏,概不负任何法律责任,相关信息仅供参考。站长之家将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。任何单位或个人认为本页面内容可能涉嫌侵犯其知识产权或存在不实内容时,可及时向站长之家提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明(点击查看反馈联系地址)。本网站在收到上述法律文件后,将会依法依规核实信息,沟通删除相关内容或断开相关链接。

  • 相关推荐
  • 开放融合 聚势共享”2025年山石网科生态作伙伴大会顺利举办

    2025年,北京互联网未来五年将实现大规模商业化。当前,互联网巨头正致力于提供高效、安全、便捷的服务,以及在AI与安全之间的平衡。例如,北京互联网公司CEO李宏,正推动“2025年AI计划”,旨在利用AI技术的潜力,通过AI与安全之间的深度融合,推动互联网的持续发展。此外,AI正在推动企业服务的创新,包括产品设计、生产过程的优化,以及与消费者互动的增强。为了�

  • 2025,AI短剧的爆发前夜?

    3月份以来,AI和短剧再次成为视听行业的核心关键词。在近日举办的第十二届中国网络视听大会上,国家广播电视总局网络视听司司长冯胜勇在论坛致辞中表示“提出一个问题往往比解决一个问题更重要”的时代来临。但如今AI短剧带来的最大变化,就是让每个人都真正有了成为编剧、导演的机会了,只需要极低的金钱成本,极低的试错成本,和提供给AI的无穷创意和精确指令。

  • 聚智2025,AI重塑未来格局——2025人工智能论坛圆满落幕

    这场行业盛会云集了 200 余位国内外顶尖学者、行业领军人物,以大模型创新、人工智能前沿应用、AI哲学与伦理、数学科学交叉融合等热门议题为核心,展开多轮深度研讨与思维碰撞。论坛通过线上线下联动的形式,吸引了超千名专业人士及爱好者参与,为全球人工智能领域奉献了一场兼具学术深度与实践价值的思想盛宴,成为年度行业发展趋势的重要风向标。

  • 九号电动新品首发:Mz MIX 2025 与 Fz MIX 2025 搭载超强智驾登场

    九号公司将于4月25日晚7点发布两款2025年智能电动车新品:Mz MIX 2025和Fz MIX 2025。两款车型搭载最新RideyFUN智驾系统,集成导航、音乐、通话功能,配备"鼹鼠控"智能操控平台,支持坡道缓降、牵引力控制等功能。其中Mz MIX定位旗舰车型,主打科技体验;Fz MIX侧重都市通勤,续航提升20%以上。产品还配备430mm超大踏板、五级可调后减震等配置,4月18日起已在天猫、京东等平台开启预约,发布会后将公布售价并开启抢购。

  • 与CHINAPLAS 2025同频共振!震雄开放周全链路呈现注塑技术新生态

    2025年4月15-18日,震雄集团在CHINAPLAS国际橡塑展期间举办开放周活动,展示精密注塑技术革新成果。活动首日吸引汽车、电子、医疗等行业代表参观智能注塑生产线,并首次开放企业历史文化展馆。重点推出AI Molder调模大师系统,通过智能算法解决注塑调模难题,提升试模效率;全新MK7S系列注塑机融合电动熔胶技术与智能系统,重新定义精密注塑标准。立式注塑机新品凭借垂直合模结构满足汽车、3C等行业精密成型需求。参观者还实地考察震雄工厂,见证从零部件加工到整机组装的全流程品控体系。活动彰显震雄以开放创新精神推动中国智造升级的实践。

  • 北京米扬丽格巫文云院长夏正义院长闪耀2025智美峰会,共探医美前沿新趋势

    4 月12 - 13 日,第六届“智慧医美· 2025 国际医学美容峰会”在郑州·CBD国际会展中心盛大举行。本次峰会汇聚了国内外医美领域的专家,围绕医美行业的前沿技术、临床实践以及产业发展等话题展开深入探讨与交流。北京米扬丽格巫文云院长和夏正义院长受邀参会,在峰会上分享专业见解,展现北京米扬丽格在医美领域的深厚积淀与卓越实力。(巫文云院长、夏正义院长共同参

  • 事关赛事、路线等!海尔·2025青马授牌仪式今日举行

    4 月 14 日,海尔· 2025 青岛马拉松新闻发布会暨赞助商授牌仪式在青岛海尔洲际酒店正式举行。现场,赛事组委会发布了赛事筹备、路线规划等赛事细节,宣布正式启动海尔· 2025 青岛马拉松,并为冠名赞助商海尔及其他合作方颁发合作授牌。 此次海尔· 2025 青岛马拉松,将打造一场亮点多多的“最”出圈赛事活动,让每一位跑者畅享充满智慧与快乐的跑步盛宴,具体让我们来

  • 2025全球十大保健品品牌评析

    随着全球健康意识的崛起和人口老龄化趋势的加剧,保健品行业迎来了前所未有的发展机遇。据世界卫生组织最新数据显示,全球保健品市场规模已突破4000亿美元,年增长率稳定在8%以上。本文不代表本站观点,请谨慎核实!

  • 开放合作 共建体验|2025锐捷网络EBG(中国)核心作伙伴大会,携手共赢数智未来

    近日, 2025 锐捷网络EBG(中国)核心合作伙伴大会在苏州隆重举行,此次大会以“开放合作,共建体验”为主题,吸引了来自全国的核心合作伙伴代表。会上,锐捷网络宣布全面升级“共建合作模式”,发布了七大战略产品解决方案以及七大细分行业合作生意策略,旨在通过技术赋能、权益保障和生态共生,与伙伴共同构建“全生命周期超预期客户体验”的智能网络新生态。2025 �

  • 光电通2025全国作伙伴交流峰会圆满召开

    2025 年 4 月 9 日,国产安全文印品牌“光电通”在天津市蓟州恒大酒店隆重召开了 2025 全国合作伙伴交流峰会。本次峰会以“芯光澎湃·印领时代”为主题,汇聚了来自全国各地的优秀合作伙伴代表,共同回顾 2024 年成绩,研判信创打印机市场新趋势,全面展望 2025 年的发展规划。天津光电通电子科技有限公司总经理张俊辉、副总经理吕霞、副总经理牛贺群、副总经理孙芳、市�