首页 > 传媒 > 关键词  > 正文

镜舟科技基于 StarRocks 构建湖仓一体架构,支撑某大型电网企业国产化升级

2025-04-21 14:59 · 稿源: 站长之家用户

在"十四五"规划全面推进国产化替代的背景下,某大型电网企业联合镜舟科技与腾讯云,基于全球领先的开源分析型数据库 StarRocks 及腾讯 TBDS 大数据平台,构建电力行业国产化湖仓一体架构。该项目实现 PB 级电力数据的统一管理,为能源行业核心系统国产化升级提供了可复制的技术范本。

一、数字电力正面临日益复杂的数据挑战

随着数字化转型深入推进,该电网企业作为服务超 2.5 亿用户的特大型能源企业,面临着日益复杂的数据管理挑战:

(1)数据链路复杂,时效性低:数据供给路径冗长,导致延迟高,无法满足实时性要求。

(2)资源瓶颈:计算集群资源紧张,CPU 和 IO 高负载,限制了性能扩展。

(3)高并发挑战:先有的业务大量使用宽表设计,查询并发压力剧增,现有架构难以支撑。

(4)融合计算能力不足:数据分散,跨集群融合计算能力缺失,限制了个性化需求支持。

(5)数据治理难度大:全域的数据资产建设,没有统一的主题划分,数据分散。

二、解决方案:基于 StarRocks+TBDS 构建统一数据平台

为解决上述挑战,镜舟科技作为 StarRocks 核心商业化公司,联合腾讯云为该电网企业设计了一套分层渐进式的技术升级方案。

该方案核心在于优化数据链路,通过缩短供给路径并引入实时分析引擎,有效提升数据时效性。同时,通过扩展集群规模提升资源利用率,解决计算资源瓶颈问题。

针对高并发查询压力,镜舟团队对查询引擎进行深度优化,增强缓存机制和负载均衡能力。此外,通过构建统一数据平台,实现跨集群数据整合和计算,满足多样化的分析需求,并为数据治理奠定坚实基础。

在该电网企业实际业务场景下的 POC 测试中,StarRocks 展现了显著的性能优势:现网系统查询耗时:1513 秒,StarRocks 查询耗时:0.176 秒,实现近 8600 倍的查询加速。

1. 基于 StarRocks+TBDS 的湖仓技术架构

该电网企业的湖仓架构包含四个关键层次,包含从数据采集到业务应用的全链路:

(1)数据接入层:Flink 实时数据处理

(2)数据湖存储:腾讯 TBDS(Iceberg 表格式)

(3)分析加速层:StarRocks 多集群(存算一体+存算分离)

(4)业务应用层:SmartBI 等可视化工具

2. 关键技术提升整体性能

方案实施过程中,团队重点解决了三大技术难题,确保系统平稳过渡的同时提升整体性能:

(1)国产化适配验证

完成包括海光芯片和麒麟 V10 操作系统在内的全栈国产化适配验证,保障系统在国产化基础设施上的稳定运行。

(2)业务平滑迁移

通过支持 Greenplum 语法兼容,成功保障了存量业务的平滑迁移,并利用多集群架构实现了网级与省侧业务有效协同。

(3)湖仓数据统一协同

基于腾讯 TBDS 数据湖构建统一元数据目录,同时借助 Flink 实现实时数据入湖,StarRocks 提供强大的分析加速能力,形成完整的数据流转与处理闭环。

数据底座:电力业务腾飞的新引擎

此次升级帮助该电网企业进一步构建统一的基础数据底座,为各业务平台提供数据存储、处理、治理、建模和计算分析等全数据生命周期能力服务,支撑网省各级单位数据应用需求。

(1)业务连续性保障:StarRocks 兼容 Greenplum 近 10 万条 SQL 语法。支持渐进式改造,存算分离与存算一体混合部署模式灵活可选。

(2)架构扩展性提升:多集群架构实现分散 MPP 集群的统一纳管,弹性扩缩容能力适配业务增长需求。

(3)技术自主可控:全国产化技术栈(海光芯片+麒麟系统),并与腾讯 TBDS 实现数据湖管理标准统一。

未来,镜舟科技将持续完善 StarRocks 与腾讯 TBDS 的深度协同,为关键行业提供安全可靠的数据基座。

镜舟科技:企业级数据分析基座构建者

作为 StarRocks 开源项目的主要贡献者及商业化领军企业,镜舟科技基于“开源+商业化”双引擎模式,推出企业级产品镜舟数据库(Mirrorship)及 Lakehouse 解决方案:

(1)技术领先性,支持 PB 级实时分析的分布式数据库,并深度参与 StarRocks 开源社区建设,并基于此给企业级用户提供更多技术保障。

(2)行业实践积累,在金融领域支撑实时风控系统建设,企业级客户已覆盖超百家头部企业。

推广

特别声明:以上内容(如有图片或视频亦包括在内)均为站长传媒平台用户上传并发布,本平台仅提供信息存储服务,对本页面内容所引致的错误、不确或遗漏,概不负任何法律责任,相关信息仅供参考。站长之家将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。任何单位或个人认为本页面内容可能涉嫌侵犯其知识产权或存在不实内容时,可及时向站长之家提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明(点击查看反馈联系地址)。本网站在收到上述法律文件后,将会依法依规核实信息,沟通删除相关内容或断开相关链接。

  • 相关推荐
  • 低代码赋能企业信息系统国产化升级

    云南建投钢结构股份有限公司作为云南省建设投资控股集团的专业子公司,在信息化建设中面临安全管理和数据孤岛等挑战。公司采用活字格低代码开发平台构建了生产安全系统,实现班前交底、有限空间作业等核心功能,并与钉钉深度集成,支持移动办公。该系统显著提升了开发效率,打通了与现有MES、ERP等系统的数据壁垒,同时满足国产化和信创要求。相比传统开发方式,活字格降低了技术门槛和成本投入,帮助公司快速实现数字化应用落地,获得管理层高度认可。该平台还助力企业加速信创及国产化进程,为持续发展奠定基础。

  • StarRocks 优化实践:揭秘毫秒级实时分析的三大核心技术

    StarRocks是一款高性能实时分析数据库,通过三大核心技术解决海量数据分析难题:1)向量化执行引擎,采用批处理方式减少CPU开销,支持SIMD指令集加速计算;2)CBO优化器,基于统计信息智能选择最优执行计划,支持复杂查询改写和物化视图优化;3)列式存储结构,结合稀疏索引和Bitmap索引提升I/O效率。其企业级产品镜舟数据库在此基础上增强多租户隔离、RBAC权限控制等特性

  • 智邦国际链主企业赋能方案电子行MES+ERP一体化实现全流程追溯

    文章探讨了工业4.0时代电子行业面临的挑战与机遇。随着全球经济增速放缓,电子行业面临产品复杂度高、需求变化快、供应链压力大等难题,同时还需应对欧盟碳关税等绿色贸易壁垒。智邦国际针对行业痛点,推出新一代"电子行业版一体化ERP"解决方案,整合MES和ERP功能,实现从原材料采购到销售交付的全流程可追溯管理。该系统具备四大优势:打破部门壁垒实现信息共享;实时监控生产关键指标;优化调度提升效率;培育绿色产业链。通过数字化手段重塑产业形态,助力企业构建透明化管理体系,在激烈市场竞争中保持优势。

  • 2025年一体化erp企业管理软件分享,哪个好用?

    在万物加速互联、同质竞争激烈的 2025 年,ERP(企业资源计划)系统,作为跳出传统企业边界,从供应链范围去优化企业资源的一站式企业管理软件,成为各行企业全面管理和降本增效提质的必备工具。无论初创、中小、集团企业,选择一款能够长久使用的一体化ERP软件,已非战略决策,而是致胜必备。一体化ERP软件有哪些?一体化erp软件哪个好?常用的一体化ERP有哪些呢?20

  • 阿里云全栈AI技术引擎驱动SaaS企业全球化升级 构建出海新范式

    全球SaaS市场正以16.4%的年复合增长率迈向万亿规模,中国企业引领的智能化升级正在改写行业全球化叙事。阿里云发布"全栈AI+全球化"技术体系,通过端到端技术栈重构打造可扩展、低门槛的全球化智能基座,释放技术红利。通义千问大模型通过参数效率优化突破AI规模化应用的经济性瓶颈,支持119种语言适配不同市场。e签宝推出行业首个智能合同Agent,实现合同全生命

  • 易数智发布CoreAgent智能开发平台及多款行智能

    5月23日,网易在杭州举办"万象新生"2025创新企业大会。网易数智宣布品牌升级,LOGO颜色从"科技蓝"变为"网易红",展现拥抱AI时代的决心。会上发布一站式智能体开发平台CoreAgent,整合知识库、运行沙箱等功能,助力企业智能化转型。同时成立AI生态联盟,首批成员包括英特尔、人民中科等上下游企业。网易数智还推出导购数字员工、智能外呼数字员工等多款行业智能体产品,加速企业数字化进程。

  • 2025年全球好用的机械设备行一体化erp系统揭晓

    文章概述了机械设备行业在数字化转型中面临的挑战,并推荐了2025年十大一体化ERP软件品牌。国内品牌智邦国际、浪潮、用友、金蝶位居前列,国外品牌SAP、Oracle等紧随其后。文章强调选择ERP需考虑行业特性、扩展性、易用性和厂商服务,特别指出项目型生产管理、多级物料清单等功能对机械设备企业至关重要。最后详细介绍了各品牌ERP系统的核心功能,包括智邦国际的全流�

  • 石化盈科与腾讯共筑信息技术国产化生态新格局

    2025年5月13日,石化盈科与腾讯云在国产化信息技术创新领域达成重要合作。双方完成智慧经营云平台与腾讯云TDSQL数据库管理系统等产品的兼容互认,将共同为能源、金融、制造等行业提供安全可靠的数字化解决方案。石化盈科自主研发的智慧经营云平台采用云原生架构,包含低代码平台、数据中台等六大模块,已成功应用于中国石化等大型央企。此次合作标志着国产信息技术生态建设取得重要突破,双方将深化创新驱动战略,推动云计算、人工智能等技术与信创产品的深度融合,助力企业实现自主可控的数字化转型。

  • 千匠B2B商城系统:驱动企业渠道数字化升级的核心引擎

    本文探讨了产业互联网时代下B2B企业渠道管理的数字化转型。传统线下订货模式已难以满足高效运营需求,中国B2B电商市场规模突破20万亿元,企业数字化渗透率每年提升15%。千匠网络推出的B2B商城系统通过全渠道覆盖、灵活架构和智能化工具,助力企业重构渠道价值链。系统四大核心价值包括:1)渠道效率革命,实现24小时在线订货,交付周期缩短40%;2)精细化运营,支持差异化定价和精准营销;3)供应链协同,实现库存共享与智能调度;4)数据驱动决策,提供实时数据分析看板。系统采用微服务架构和云原生技术,支持多租户隔离,通过AI预测优化需求管理。该方案已成为制造企业、品牌商实现数字化升级的首选,未来将持续推动产业生态升级。

  • 智能理赔+车联技术落地越南:金融壹账通与Tasco集团携手构建“车生态”

    金融壹账通与越南Tasco集团达成战略合作,双方围绕"车生态"领域展开深入探讨。金融壹账通展示了智能车险解决方案,包括基于车联网与AI技术的数字理赔平台、自动化案件处理工具等创新成果。Tasco集团作为越南领先的交通运营企业,希望借助金融壹账通的科技能力提升其保险与金融服务水平。双方签署合作备忘录,将以一站式车险科技方案支持Tasco新能源车业务海外拓展,同时结合越南本地资源推动方案落地实施。此次合作彰显金融壹账通国际化布局决心,也为东南亚数字车生态发展树立标杆。