首页 > 传媒 > 关键词  > 正文

镜舟科技基于 StarRocks 构建湖仓一体架构,支撑某大型电网企业国产化升级

2025-04-21 14:59 · 稿源: 站长之家用户

在"十四五"规划全面推进国产化替代的背景下,某大型电网企业联合镜舟科技与腾讯云,基于全球领先的开源分析型数据库 StarRocks 及腾讯 TBDS 大数据平台,构建电力行业国产化湖仓一体架构。该项目实现 PB 级电力数据的统一管理,为能源行业核心系统国产化升级提供了可复制的技术范本。

一、数字电力正面临日益复杂的数据挑战

随着数字化转型深入推进,该电网企业作为服务超 2.5 亿用户的特大型能源企业,面临着日益复杂的数据管理挑战:

(1)数据链路复杂,时效性低:数据供给路径冗长,导致延迟高,无法满足实时性要求。

(2)资源瓶颈:计算集群资源紧张,CPU 和 IO 高负载,限制了性能扩展。

(3)高并发挑战:先有的业务大量使用宽表设计,查询并发压力剧增,现有架构难以支撑。

(4)融合计算能力不足:数据分散,跨集群融合计算能力缺失,限制了个性化需求支持。

(5)数据治理难度大:全域的数据资产建设,没有统一的主题划分,数据分散。

二、解决方案:基于 StarRocks+TBDS 构建统一数据平台

为解决上述挑战,镜舟科技作为 StarRocks 核心商业化公司,联合腾讯云为该电网企业设计了一套分层渐进式的技术升级方案。

该方案核心在于优化数据链路,通过缩短供给路径并引入实时分析引擎,有效提升数据时效性。同时,通过扩展集群规模提升资源利用率,解决计算资源瓶颈问题。

针对高并发查询压力,镜舟团队对查询引擎进行深度优化,增强缓存机制和负载均衡能力。此外,通过构建统一数据平台,实现跨集群数据整合和计算,满足多样化的分析需求,并为数据治理奠定坚实基础。

在该电网企业实际业务场景下的 POC 测试中,StarRocks 展现了显著的性能优势:现网系统查询耗时:1513 秒,StarRocks 查询耗时:0.176 秒,实现近 8600 倍的查询加速。

1. 基于 StarRocks+TBDS 的湖仓技术架构

该电网企业的湖仓架构包含四个关键层次,包含从数据采集到业务应用的全链路:

(1)数据接入层:Flink 实时数据处理

(2)数据湖存储:腾讯 TBDS(Iceberg 表格式)

(3)分析加速层:StarRocks 多集群(存算一体+存算分离)

(4)业务应用层:SmartBI 等可视化工具

2. 关键技术提升整体性能

方案实施过程中,团队重点解决了三大技术难题,确保系统平稳过渡的同时提升整体性能:

(1)国产化适配验证

完成包括海光芯片和麒麟 V10 操作系统在内的全栈国产化适配验证,保障系统在国产化基础设施上的稳定运行。

(2)业务平滑迁移

通过支持 Greenplum 语法兼容,成功保障了存量业务的平滑迁移,并利用多集群架构实现了网级与省侧业务有效协同。

(3)湖仓数据统一协同

基于腾讯 TBDS 数据湖构建统一元数据目录,同时借助 Flink 实现实时数据入湖,StarRocks 提供强大的分析加速能力,形成完整的数据流转与处理闭环。

数据底座:电力业务腾飞的新引擎

此次升级帮助该电网企业进一步构建统一的基础数据底座,为各业务平台提供数据存储、处理、治理、建模和计算分析等全数据生命周期能力服务,支撑网省各级单位数据应用需求。

(1)业务连续性保障:StarRocks 兼容 Greenplum 近 10 万条 SQL 语法。支持渐进式改造,存算分离与存算一体混合部署模式灵活可选。

(2)架构扩展性提升:多集群架构实现分散 MPP 集群的统一纳管,弹性扩缩容能力适配业务增长需求。

(3)技术自主可控:全国产化技术栈(海光芯片+麒麟系统),并与腾讯 TBDS 实现数据湖管理标准统一。

未来,镜舟科技将持续完善 StarRocks 与腾讯 TBDS 的深度协同,为关键行业提供安全可靠的数据基座。

镜舟科技:企业级数据分析基座构建者

作为 StarRocks 开源项目的主要贡献者及商业化领军企业,镜舟科技基于“开源+商业化”双引擎模式,推出企业级产品镜舟数据库(Mirrorship)及 Lakehouse 解决方案:

(1)技术领先性,支持 PB 级实时分析的分布式数据库,并深度参与 StarRocks 开源社区建设,并基于此给企业级用户提供更多技术保障。

(2)行业实践积累,在金融领域支撑实时风控系统建设,企业级客户已覆盖超百家头部企业。

推广

特别声明:以上内容(如有图片或视频亦包括在内)均为站长传媒平台用户上传并发布,本平台仅提供信息存储服务,对本页面内容所引致的错误、不确或遗漏,概不负任何法律责任,相关信息仅供参考。站长之家将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。任何单位或个人认为本页面内容可能涉嫌侵犯其知识产权或存在不实内容时,可及时向站长之家提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明(点击查看反馈联系地址)。本网站在收到上述法律文件后,将会依法依规核实信息,沟通删除相关内容或断开相关链接。

  • 相关推荐
  • 常德二院全栈国产化信创打造医疗新质生产力

    常德市第二人民医院于2025年4月30日上线全国首个地方三级医院全栈国产化医疗信创项目,覆盖HIS、EMR等核心系统,实现医疗信息化自主可控。项目显著提升效率,患者候诊时间缩短20%,影像调阅速度大幅提升。通过电科金仓数据库等国产技术支撑,打破对国外技术依赖,形成可复制样板,为医疗行业数字化转型提供经验。

  • 卓世联合致远互联共建企业级超级智能体 构建人智协同新范式

    8月9日,由致远互联主办的“2025协同管理论坛”在武汉光谷盛大举行。卓世科技创始人兼CEO屠静女士受邀发表主题演讲,并与致远互联携手共建全新企业级超级智能体平台。从多模态智能体集群的底层能力首秀,到“一句话搞定差旅、报表、会议总结、供应链计划”等沉浸式应用场景体验,从与致远互联产品体系的深度预集成,到联合百家伙伴共建协同AI生态,卓世科技将与千

  • Starlinkx:AI赋能中国企业出海,一站式解决方案引领全球市场新风尚

    Starlinkx作为创新型科技企业,凭借AI领域技术优势,在助力中国企业出海方面表现突出。其核心业务包括:1)AI穿戴设备研发,推出翻译机、智能耳机等创新产品;2)一站式AI企业管家服务,覆盖内容生成、矩阵传播和智能翻译三大领域。通过自然语言处理技术,帮助企业快速生成多语言营销内容;依托数据分析能力,制定个性化传播策略;提供毫秒级响应的高精度翻译服务。这些解决方案有效降低了企业出海成本,尤其在东南亚市场广受好评。未来,Starlinkx将继续发挥AI技术优势,助力更多中国企业拓展全球市场。

  • Agentic AI落地加速:迈富时企业级智能体中台2.0,让 AI Agent成为企业 “数字员工”

    Gartner将代理型AI列为2025年十大战略趋势之首,预测到2028年15%的日常工作决策将由自主智能代理完成。迈富时发布的AI-Agentforce2.0企业级智能体中台,通过"技术赋能+场景落地"双轮驱动,构建了从模型能力到业务价值的闭环。该平台具有三大核心优势:1)"模型-应用-开发平台"三位一体架构;2)ChatBox+工作流双开发模式,支持快速部署;3)企业级安全保障,满足金融等敏感行业需求。已在保险、零售、供应链等领域实现规模化应用,最高提升37%销售转化率。该方案让企业能低成本打造专属数字员工团队,真正释放代理型AI的战略价值。

  • OPPO ColorOS宣布升级无网畅聊 没网也能发图片、语音

    日前,OPPO ColorOS宣布无网畅聊全新升级,在无网状态下,不仅能打语音电话,还能发送图片、文字和语音。 使用路径:打开设置”-选择移动网络”-开启无网畅聊”,选择你想联系的欧加手机-发送消息。 据了解,无网畅聊是一项利用蓝牙技术解决近场通信问题的功能。

  • 从“手动挡”进入“AI智能挡”:亚数TrustAsia 开启证书管理「服务化」CaaS 新时代

    随着TLS/SSL证书有效期缩短至47天,企业面临信任中断风险加剧、内部系统协同困难及预警监测缺失三大挑战。亚数TrustAsia推出新一代智能证书管理体系TrustAsia CaaS,通过自动化流程实现证书全生命周期管理,提供六大核心能力:资产发现与管理、多CA自动化签发、自动化分发部署、实时监测告警、无缝集成定制及全流程自动化,有效应对加密敏捷性需求,助力企业构建安全可信�

  • 中企出海“信任战”:法大大Nota Sign全球签助力构建跨境信任体系

    中国企业出海进入全球化“深水区”,面临跨境签约合规挑战。法大大推出Nota Sign全球签平台,提供安全合规的电子签名服务,支持多语言合同智能比对,降低跨境交易成本与风险。平台覆盖100多个国家地区,适配各地法规,助力中资企业构建全球数字信任网络,提升签约效率与安全性。

  • 快鹭科技四大应用,筑牢企业数字化基建

    快闪科技以AI办公智能体为核心,推出覆盖人力、采购、行政、财务四大场景的数字化解决方案。人力方面构建一站式管理平台,实现招聘到薪酬的全流程自动化;采购环节打造智能供应链,优化供应商管理;行政应用实现资源整合与流程标准化;财务系统通过OCR识别等技术实现自动化核算与风险管控。四大应用紧密协同,基于AI+低代码技术打通企业底层数据,助力降本增效、优化决策,推动企业从操作型向战略型数字化转型,实现高质量发展。

  • 销售易 X 腾讯乐享:构建企业统一知识网络,为业务跟进客户提供有力支撑

    文章探讨了企业业务人员在客户跟进过程中面临的信息分散问题,并介绍了销售易CRM与腾讯乐享的整合解决方案。主要内容包括:1)传统模式下销售人员需手动整合内外部资料,效率低下;2)销售易CRM通过AI助手"百事通"打通多源知识,实现智能搜索和精准推送;3)四大应用场景展示如何提升拜访准备、方案制作、复盘跟进和客服应答效率;4)解决方案通过权限管理确保信息安全,并实时更新知识库。该整合方案将企业沉淀的专业知识转化为业务团队的底层能力,帮助提升响应速度和服务专业性。

  • 从经验驱动转向智能驱动,AI为企业数智化转型注入新动能

    传统企业决策依赖管理者经验与直觉,存在主观性、信息不全面、数据处理滞后等问题,常导致决策偏差。人工智能技术通过大数据分析与智能算法,推动决策从“经验驱动”转向“数据驱动”,提升精准度与效率。启信慧眼等工具整合多维度数据,构建智能决策系统,助力企业规避风险、捕捉机遇,实现科学高效的数字化转型。

今日大家都在搜的词: