首页 > 传媒 > 关键词  > 正文

镜舟科技基于 StarRocks 构建湖仓一体架构,支撑某大型电网企业国产化升级

2025-04-21 14:59 · 稿源: 站长之家用户

在"十四五"规划全面推进国产化替代的背景下,某大型电网企业联合镜舟科技与腾讯云,基于全球领先的开源分析型数据库 StarRocks 及腾讯 TBDS 大数据平台,构建电力行业国产化湖仓一体架构。该项目实现 PB 级电力数据的统一管理,为能源行业核心系统国产化升级提供了可复制的技术范本。

一、数字电力正面临日益复杂的数据挑战

随着数字化转型深入推进,该电网企业作为服务超 2.5 亿用户的特大型能源企业,面临着日益复杂的数据管理挑战:

(1)数据链路复杂,时效性低:数据供给路径冗长,导致延迟高,无法满足实时性要求。

(2)资源瓶颈:计算集群资源紧张,CPU 和 IO 高负载,限制了性能扩展。

(3)高并发挑战:先有的业务大量使用宽表设计,查询并发压力剧增,现有架构难以支撑。

(4)融合计算能力不足:数据分散,跨集群融合计算能力缺失,限制了个性化需求支持。

(5)数据治理难度大:全域的数据资产建设,没有统一的主题划分,数据分散。

二、解决方案:基于 StarRocks+TBDS 构建统一数据平台

为解决上述挑战,镜舟科技作为 StarRocks 核心商业化公司,联合腾讯云为该电网企业设计了一套分层渐进式的技术升级方案。

该方案核心在于优化数据链路,通过缩短供给路径并引入实时分析引擎,有效提升数据时效性。同时,通过扩展集群规模提升资源利用率,解决计算资源瓶颈问题。

针对高并发查询压力,镜舟团队对查询引擎进行深度优化,增强缓存机制和负载均衡能力。此外,通过构建统一数据平台,实现跨集群数据整合和计算,满足多样化的分析需求,并为数据治理奠定坚实基础。

在该电网企业实际业务场景下的 POC 测试中,StarRocks 展现了显著的性能优势:现网系统查询耗时:1513 秒,StarRocks 查询耗时:0.176 秒,实现近 8600 倍的查询加速。

1. 基于 StarRocks+TBDS 的湖仓技术架构

该电网企业的湖仓架构包含四个关键层次,包含从数据采集到业务应用的全链路:

(1)数据接入层:Flink 实时数据处理

(2)数据湖存储:腾讯 TBDS(Iceberg 表格式)

(3)分析加速层:StarRocks 多集群(存算一体+存算分离)

(4)业务应用层:SmartBI 等可视化工具

2. 关键技术提升整体性能

方案实施过程中,团队重点解决了三大技术难题,确保系统平稳过渡的同时提升整体性能:

(1)国产化适配验证

完成包括海光芯片和麒麟 V10 操作系统在内的全栈国产化适配验证,保障系统在国产化基础设施上的稳定运行。

(2)业务平滑迁移

通过支持 Greenplum 语法兼容,成功保障了存量业务的平滑迁移,并利用多集群架构实现了网级与省侧业务有效协同。

(3)湖仓数据统一协同

基于腾讯 TBDS 数据湖构建统一元数据目录,同时借助 Flink 实现实时数据入湖,StarRocks 提供强大的分析加速能力,形成完整的数据流转与处理闭环。

数据底座:电力业务腾飞的新引擎

此次升级帮助该电网企业进一步构建统一的基础数据底座,为各业务平台提供数据存储、处理、治理、建模和计算分析等全数据生命周期能力服务,支撑网省各级单位数据应用需求。

(1)业务连续性保障:StarRocks 兼容 Greenplum 近 10 万条 SQL 语法。支持渐进式改造,存算分离与存算一体混合部署模式灵活可选。

(2)架构扩展性提升:多集群架构实现分散 MPP 集群的统一纳管,弹性扩缩容能力适配业务增长需求。

(3)技术自主可控:全国产化技术栈(海光芯片+麒麟系统),并与腾讯 TBDS 实现数据湖管理标准统一。

未来,镜舟科技将持续完善 StarRocks 与腾讯 TBDS 的深度协同,为关键行业提供安全可靠的数据基座。

镜舟科技:企业级数据分析基座构建者

作为 StarRocks 开源项目的主要贡献者及商业化领军企业,镜舟科技基于“开源+商业化”双引擎模式,推出企业级产品镜舟数据库(Mirrorship)及 Lakehouse 解决方案:

(1)技术领先性,支持 PB 级实时分析的分布式数据库,并深度参与 StarRocks 开源社区建设,并基于此给企业级用户提供更多技术保障。

(2)行业实践积累,在金融领域支撑实时风控系统建设,企业级客户已覆盖超百家头部企业。

推广

特别声明:以上内容(如有图片或视频亦包括在内)均为站长传媒平台用户上传并发布,本平台仅提供信息存储服务,对本页面内容所引致的错误、不确或遗漏,概不负任何法律责任,相关信息仅供参考。站长之家将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。任何单位或个人认为本页面内容可能涉嫌侵犯其知识产权或存在不实内容时,可及时向站长之家提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明(点击查看反馈联系地址)。本网站在收到上述法律文件后,将会依法依规核实信息,沟通删除相关内容或断开相关链接。

  • 相关推荐
  • 智邦国际一体化ERP:企业一体化智能一体成型,重塑企业未来

    近期制造业、轻工业、电子凭证、人工智能等领域密集出台政策,推动企业全方位数智化转型。智邦国际推出"企业一体化+"数智生态体系,以ERP为核心构建全维一体化管理平台,覆盖企业全生命周期各环节。其一体化ERP系统支持30多套软件灵活组合,并集成AI获客、智能客服等创新应用,帮助企业打通内外数据孤岛,实现从数字化向智能化的跃升。该方案通过一站式的数据互通和智能协同,正在成为企业降本增效的新引擎,引领万物互联时代的数智化转型浪潮。

  • 易数智发布CoreAgent智能开发平台及多款行智能

    5月23日,网易在杭州举办"万象新生"2025创新企业大会。网易数智宣布品牌升级,LOGO颜色从"科技蓝"变为"网易红",展现拥抱AI时代的决心。会上发布一站式智能体开发平台CoreAgent,整合知识库、运行沙箱等功能,助力企业智能化转型。同时成立AI生态联盟,首批成员包括英特尔、人民中科等上下游企业。网易数智还推出导购数字员工、智能外呼数字员工等多款行业智能体产品,加速企业数字化进程。

  • 石化盈科与腾讯共筑信息技术国产化生态新格局

    2025年5月13日,石化盈科与腾讯云在国产化信息技术创新领域达成重要合作。双方完成智慧经营云平台与腾讯云TDSQL数据库管理系统等产品的兼容互认,将共同为能源、金融、制造等行业提供安全可靠的数字化解决方案。石化盈科自主研发的智慧经营云平台采用云原生架构,包含低代码平台、数据中台等六大模块,已成功应用于中国石化等大型央企。此次合作标志着国产信息技术生态建设取得重要突破,双方将深化创新驱动战略,推动云计算、人工智能等技术与信创产品的深度融合,助力企业实现自主可控的数字化转型。

  • TAC 发布黄金代币分析报告,携手 Matrixdock 提升现实资产代币标准

    5月2日,TAC与Matrixdock联合发布《聚焦TAC成员》系列报告,首期聚焦Matrixport旗下RWA平台Matrixdock的黄金代币XAUm。报告指出XAUm通过1:1锚定LBMA认证的投资级黄金,解决了实物黄金流动性不足、透明度低等问题,兼具区块链技术优势和金融投资属性。XAUm采用信托架构实现资产隔离,支持实物赎回,并通过定期审计和链上验证确保储备透明度。报告认为黄金代币将重塑黄金资产形态,未来或成为重要金融工具。TAC表示将持续推动RWA领域标准化建设,促进行业发展。

  • 千匠B2B商城系统:驱动企业渠道数字化升级的核心引擎

    本文探讨了产业互联网时代下B2B企业渠道管理的数字化转型。传统线下订货模式已难以满足高效运营需求,中国B2B电商市场规模突破20万亿元,企业数字化渗透率每年提升15%。千匠网络推出的B2B商城系统通过全渠道覆盖、灵活架构和智能化工具,助力企业重构渠道价值链。系统四大核心价值包括:1)渠道效率革命,实现24小时在线订货,交付周期缩短40%;2)精细化运营,支持差异化定价和精准营销;3)供应链协同,实现库存共享与智能调度;4)数据驱动决策,提供实时数据分析看板。系统采用微服务架构和云原生技术,支持多租户隔离,通过AI预测优化需求管理。该方案已成为制造企业、品牌商实现数字化升级的首选,未来将持续推动产业生态升级。

  • 数禾科技品牌焕新升级,“SHUHE TECH”奏响金融科技新乐章

    数禾科技迎来成立十周年,完成品牌升级并启用新标识"SHUHE TECH"。作为金融科技领域的先行者,公司十年来坚持"让人人享有金融服务最优解"的使命,通过AI、大数据等技术持续创新,自主研发智能风控系统、智能客服等产品,推动普惠金融发展。此次升级标志着公司将以全新形象深耕金融科技领域,强化AI中台建设,重构信贷数字化链路,为用户提供更优质的金融服务。未来,数禾科技将继续以技术创新为核心,在激烈的市场竞争中保持领先地位。

  • 文远知行获Uber自动驾驶领域最大投资,吹响Robotaxi规模运营的号角

    2025年5月7日,文远知行宣布获得Uber追加1亿美元股权投资,这是Uber在自动驾驶领域的最大单笔投资。双方自2024年9月达成战略合作以来,已在阿布扎比部署中东最大Robotaxi车队,并拓展至迪拜市场。此次合作升级计划未来五年在欧洲、中东等15个城市部署数十万辆自动驾驶汽车,覆盖千万用户。Uber CEO表示这将加速全球自动驾驶服务普及。此次合作标志着自动驾驶产业迈向规模化、全球化新阶段,有望重塑人类出行方式,并为行业商业化进程树立新标杆。

  • 京东云升级JoyAgent 2.0:分钟级生成企业级专数字员工

    京东云在上海发布九大AI产品,包括JoyAgent智能体2.0、JoyBuild大模型开发平台等,助力企业重构AI基础设施。京东集团技术委员会主席曹鹏表示,数字员工上岗率将成为衡量企业先进性的标准。JoyAgent 2.0具备三大核心能力:主动分析执行、丰富工具链和多智能体协同,已在研发、政务服务等场景深度应用。目前京东内部智能体数量超14000个,覆盖零售、物流等多个领域,显著提升工作效率。该平台还接入数十个大模型,提供100多个行业解决方案模板,支持企业快速构建专属智能体。

  • 自然阳光直播构建数字营销闭环,引领健康行新潮流

    本文探讨了数字化时代大健康行业的转型发展。自然阳光作为跨国企业,十年前就布局数字化营销,构建了覆盖直播、短视频、小程序等多维度的营销网络,并创新推出健康主播模式,通过专业内容传播和产品推广,实现公域引流到私域变现的闭环。近年来,其亚太地区销售额保持18.8%的年复合增长率,2024年Q4更实现21%增长。未来,企业将继续深化数字化战略,运用AI技术优化营销模式,为消费者提供更优质的个性化健康产品和服务,引领行业数字化发展新趋势。