首页 > 传媒 > 关键词  > 正文

镜舟科技基于 StarRocks 构建湖仓一体架构,支撑某大型电网企业国产化升级

2025-04-21 14:59 · 稿源: 站长之家用户

在"十四五"规划全面推进国产化替代的背景下,某大型电网企业联合镜舟科技与腾讯云,基于全球领先的开源分析型数据库 StarRocks 及腾讯 TBDS 大数据平台,构建电力行业国产化湖仓一体架构。该项目实现 PB 级电力数据的统一管理,为能源行业核心系统国产化升级提供了可复制的技术范本。

一、数字电力正面临日益复杂的数据挑战

随着数字化转型深入推进,该电网企业作为服务超 2.5 亿用户的特大型能源企业,面临着日益复杂的数据管理挑战:

(1)数据链路复杂,时效性低:数据供给路径冗长,导致延迟高,无法满足实时性要求。

(2)资源瓶颈:计算集群资源紧张,CPU 和 IO 高负载,限制了性能扩展。

(3)高并发挑战:先有的业务大量使用宽表设计,查询并发压力剧增,现有架构难以支撑。

(4)融合计算能力不足:数据分散,跨集群融合计算能力缺失,限制了个性化需求支持。

(5)数据治理难度大:全域的数据资产建设,没有统一的主题划分,数据分散。

二、解决方案:基于 StarRocks+TBDS 构建统一数据平台

为解决上述挑战,镜舟科技作为 StarRocks 核心商业化公司,联合腾讯云为该电网企业设计了一套分层渐进式的技术升级方案。

该方案核心在于优化数据链路,通过缩短供给路径并引入实时分析引擎,有效提升数据时效性。同时,通过扩展集群规模提升资源利用率,解决计算资源瓶颈问题。

针对高并发查询压力,镜舟团队对查询引擎进行深度优化,增强缓存机制和负载均衡能力。此外,通过构建统一数据平台,实现跨集群数据整合和计算,满足多样化的分析需求,并为数据治理奠定坚实基础。

在该电网企业实际业务场景下的 POC 测试中,StarRocks 展现了显著的性能优势:现网系统查询耗时:1513 秒,StarRocks 查询耗时:0.176 秒,实现近 8600 倍的查询加速。

1. 基于 StarRocks+TBDS 的湖仓技术架构

https://pic.chinaz.com/2025/0421/2025042114593139360.jpg

该电网企业的湖仓架构包含四个关键层次,包含从数据采集到业务应用的全链路:

(1)数据接入层:Flink 实时数据处理

(2)数据湖存储:腾讯 TBDS(Iceberg 表格式)

(3)分析加速层:StarRocks 多集群(存算一体+存算分离)

(4)业务应用层:SmartBI 等可视化工具

2. 关键技术提升整体性能

方案实施过程中,团队重点解决了三大技术难题,确保系统平稳过渡的同时提升整体性能:

(1)国产化适配验证

完成包括海光芯片和麒麟 V10 操作系统在内的全栈国产化适配验证,保障系统在国产化基础设施上的稳定运行。

(2)业务平滑迁移

通过支持 Greenplum 语法兼容,成功保障了存量业务的平滑迁移,并利用多集群架构实现了网级与省侧业务有效协同。

(3)湖仓数据统一协同

基于腾讯 TBDS 数据湖构建统一元数据目录,同时借助 Flink 实现实时数据入湖,StarRocks 提供强大的分析加速能力,形成完整的数据流转与处理闭环。

数据底座:电力业务腾飞的新引擎

此次升级帮助该电网企业进一步构建统一的基础数据底座,为各业务平台提供数据存储、处理、治理、建模和计算分析等全数据生命周期能力服务,支撑网省各级单位数据应用需求。

(1)业务连续性保障:StarRocks 兼容 Greenplum 近 10 万条 SQL 语法。支持渐进式改造,存算分离与存算一体混合部署模式灵活可选。

(2)架构扩展性提升:多集群架构实现分散 MPP 集群的统一纳管,弹性扩缩容能力适配业务增长需求。

(3)技术自主可控:全国产化技术栈(海光芯片+麒麟系统),并与腾讯 TBDS 实现数据湖管理标准统一。

未来,镜舟科技将持续完善 StarRocks 与腾讯 TBDS 的深度协同,为关键行业提供安全可靠的数据基座。

镜舟科技:企业级数据分析基座构建者

作为 StarRocks 开源项目的主要贡献者及商业化领军企业,镜舟科技基于“开源+商业化”双引擎模式,推出企业级产品镜舟数据库(Mirrorship)及 Lakehouse 解决方案:

(1)技术领先性,支持 PB 级实时分析的分布式数据库,并深度参与 StarRocks 开源社区建设,并基于此给企业级用户提供更多技术保障。

(2)行业实践积累,在金融领域支撑实时风控系统建设,企业级客户已覆盖超百家头部企业。

推广

特别声明:以上内容(如有图片或视频亦包括在内)均为站长传媒平台用户上传并发布,本平台仅提供信息存储服务,对本页面内容所引致的错误、不确或遗漏,概不负任何法律责任,相关信息仅供参考。站长之家将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。任何单位或个人认为本页面内容可能涉嫌侵犯其知识产权或存在不实内容时,可及时向站长之家提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明(点击查看反馈联系地址)。本网站在收到上述法律文件后,将会依法依规核实信息,沟通删除相关内容或断开相关链接。

  • 相关推荐
  • 智邦国际连获“数智一体化ERP领军企业”、“数智一体化ERP领军人物”

    近日, 2024 中国经济高峰论坛暨第二十二届新经济人物年会,在北京隆重举行。凭借智邦一体化ERP在“企业一体化”管理领域的卓越创新力和引领力,智邦国际荣获“数智一体化ERP领军企业”,智邦国际董事长兼CEO陈沐阳,荣获“数智一体化ERP领军人物”。连获殊荣见证行业内外对智邦国际产品矩阵、解决方案的高度认可,更是对未来发展不懈突破、价值共创的巨大激励。(智�

  • itc 智慧AI体育整体解决方案,助力体育教育、科技、人才一体化发展!

    近日杭州市教育局发布《关于做好2025年杭州市区初中学业水平考试体育与健康学科考试工作的通知》提到引体向上、仰卧起坐、实心球三大项目计分上引入AI这是继2024年跳绳项目AI应用大获成功后又一次实践操作随着大数据、云计算、物联网等技术的迅猛发展,人工智能技术已广泛应用于各个领域。此次将智能化AI技术引入中考场景,不仅是一次强有力的新突破,更有效解决人工计数易误判、标准执行主观差异、成绩反馈周期长以及缺乏个性化指导建议等长期存在的问题。itc保伦股份将继续站在智慧AI应用的前沿,借助更多国产化数字化产品及整体解决方案,为推动体育教育智能化升级贡献更多智慧和力量。

  • 摩尔线程与松应科技共建国产物理AI仿真生态,开启机器人训练国产化新纪元

    在全球机器人产业研发效率持续升级的背景下,端到端物理AI仿真技术已成为缩短产品开发周期、降低试错成本的关键基础设施。叠加《"十四五"机器人产业发展规划》与《新一代人工智能发展规划》的政策推动,机器人产业正面临技术自主化与规模化应用的双重挑战。我们的愿景是为美好世界加速。

  • itc保伦股份斩获“LED显示屏十大品牌”荣誉,凭实力领航国产化浪潮→

    备受瞩目的第16届音视频行业品牌评选活动获奖名单正式揭晓,itc保伦股份成功斩获“LED显示屏十大品牌”这一殊荣,再次向行业展示了其强大的实力与影响力。此次评选活动历经三个月的精心筹备与严格遴选,评选标准严格全面,不仅聚焦于产品的创新性、前瞻性及行业引领力,更将广泛传播价值纳入考量范畴。itc保伦股份将继续秉持初心,在国产化道路上奋勇前行,以更多优质产品为行业赋能,助力国产化音视频产业迈向新高度,书写属于民族品牌的辉煌篇章。

  • 星思半导体“空天地一体化”蓝图:让通信无远弗届

    日常生活离不开通信,在偏远山区、应急救援、远洋船舶、低空飞行甚至万米高空的飞机上,又是如何实现稳定通信?星思半导体的“空天地一体化”战略给出了答案——为地面、空中、太空深度融合和全方位无死角覆盖的通信网络,提供一体化终端芯片解决方案。未来立体融合网络架构:“空天地一体化”“空天地一体化”是6G融合网络的发展方向,通信网络架构通过地面、

  • 寒武纪:云边端一体化环境 大幅提升开发效率

    近日,寒武纪发布 2024 年度业绩快报。数据显示,2024 年公司实现营业收入 117,446.44 万元,较上年同期增加 46,507.78 万元,同比大幅增长 65.56%。寒武纪表示:公司营业收入较上年同期增长 65.56%,主要系报告期内公司持续拓展市场,积极助力人工智能应用落地,使得报告期内收入规模较上年同期大幅增长。资深产业观察家李宏宇在接受媒体采访时指出,当下AI技术的应用范围在�

  • 大型科技公司审查更加严苛,苹果和 Meta 遭欧天价罚款

    针对苹果和 Meta 的行动可能仅仅是一个开始。谷歌和 X 也正在欧盟监管机构的监管之下 —— 立法者正在推动采取坚定、一致的措施……

  • 广受认可!Testin 云测助力企业测试数字化升级

    备受关注的“2024数字化转型领军企业TOP100”揭晓。Testin云测凭借卓越表现成功入选,与华为、腾讯、中国联通、大疆、中电金信、恒生电子、润和软件等众多行业翘楚一同获此殊荣。Testin云测将进一步深化AI技术在测试环节的应用,持续推动测试流程向更深度的数字化、智能化迈进,助力更多企业在数字化浪潮中稳步发展与升级。

  • AI日报:阿里通义万相首尾帧生视频模型;豆包开源Seed智能模型UI-TARS-1.5;OpenAI首发“智能实践指南”

    欢迎来到【AI日报】栏目!这里是你每天探索人工智能世界的指南,每天我们为你呈现AI领域的热点内容,聚焦开发者,助你洞悉技术趋势、了解创新AI产品应用。新鲜AI产品点击了解:https://top.aibase.com/1、阿里通义万相首尾帧生视频模型Wan2.1-FLF2V-14B开源阿里巴巴的通义实验室在Hugging Face和GitHub上开源了Wan2.1-FLF2V-14B模型,标志着AI视频生成技术的重大进步。该模型支持高清视频生成

  • 《Insights success》专访再惠CEO李晓捷:通过数字发现中小企业潜力

    李德汇在接受《Insights+success》专访时分享了创业初心、工作经验及行业见解,并深入剖析如何助力企业突破技术壁垒,推动行业进步。他强调通过数字工具赋予商家权力、激发潜力并提升运营效率,帮助更多企业解决生存与经营难题。再特的关键差异化因素在于“口吻效应”,即利用精准营销和有效应用员工工具的信念,促进公域平台与私域数据之间的双向驱动,协助企业实现降本增效。同时,他注重内部培养与外部引进相结合,激励团队创新协作,建立明确的价值体系以巩固团队凝聚力,保持竞争力。在他的带领下,再特利用技术优势增强企业能力,使更多企业能够驾驭网络技术的复杂性。