首页 > 传媒 > 关键词  > 正文

镜舟科技基于 StarRocks 构建湖仓一体架构,支撑某大型电网企业国产化升级

2025-04-21 14:59 · 稿源: 站长之家用户

在"十四五"规划全面推进国产化替代的背景下,某大型电网企业联合镜舟科技与腾讯云,基于全球领先的开源分析型数据库 StarRocks 及腾讯 TBDS 大数据平台,构建电力行业国产化湖仓一体架构。该项目实现 PB 级电力数据的统一管理,为能源行业核心系统国产化升级提供了可复制的技术范本。

一、数字电力正面临日益复杂的数据挑战

随着数字化转型深入推进,该电网企业作为服务超 2.5 亿用户的特大型能源企业,面临着日益复杂的数据管理挑战:

(1)数据链路复杂,时效性低:数据供给路径冗长,导致延迟高,无法满足实时性要求。

(2)资源瓶颈:计算集群资源紧张,CPU 和 IO 高负载,限制了性能扩展。

(3)高并发挑战:先有的业务大量使用宽表设计,查询并发压力剧增,现有架构难以支撑。

(4)融合计算能力不足:数据分散,跨集群融合计算能力缺失,限制了个性化需求支持。

(5)数据治理难度大:全域的数据资产建设,没有统一的主题划分,数据分散。

二、解决方案:基于 StarRocks+TBDS 构建统一数据平台

为解决上述挑战,镜舟科技作为 StarRocks 核心商业化公司,联合腾讯云为该电网企业设计了一套分层渐进式的技术升级方案。

该方案核心在于优化数据链路,通过缩短供给路径并引入实时分析引擎,有效提升数据时效性。同时,通过扩展集群规模提升资源利用率,解决计算资源瓶颈问题。

针对高并发查询压力,镜舟团队对查询引擎进行深度优化,增强缓存机制和负载均衡能力。此外,通过构建统一数据平台,实现跨集群数据整合和计算,满足多样化的分析需求,并为数据治理奠定坚实基础。

在该电网企业实际业务场景下的 POC 测试中,StarRocks 展现了显著的性能优势:现网系统查询耗时:1513 秒,StarRocks 查询耗时:0.176 秒,实现近 8600 倍的查询加速。

1. 基于 StarRocks+TBDS 的湖仓技术架构

该电网企业的湖仓架构包含四个关键层次,包含从数据采集到业务应用的全链路:

(1)数据接入层:Flink 实时数据处理

(2)数据湖存储:腾讯 TBDS(Iceberg 表格式)

(3)分析加速层:StarRocks 多集群(存算一体+存算分离)

(4)业务应用层:SmartBI 等可视化工具

2. 关键技术提升整体性能

方案实施过程中,团队重点解决了三大技术难题,确保系统平稳过渡的同时提升整体性能:

(1)国产化适配验证

完成包括海光芯片和麒麟 V10 操作系统在内的全栈国产化适配验证,保障系统在国产化基础设施上的稳定运行。

(2)业务平滑迁移

通过支持 Greenplum 语法兼容,成功保障了存量业务的平滑迁移,并利用多集群架构实现了网级与省侧业务有效协同。

(3)湖仓数据统一协同

基于腾讯 TBDS 数据湖构建统一元数据目录,同时借助 Flink 实现实时数据入湖,StarRocks 提供强大的分析加速能力,形成完整的数据流转与处理闭环。

数据底座:电力业务腾飞的新引擎

此次升级帮助该电网企业进一步构建统一的基础数据底座,为各业务平台提供数据存储、处理、治理、建模和计算分析等全数据生命周期能力服务,支撑网省各级单位数据应用需求。

(1)业务连续性保障:StarRocks 兼容 Greenplum 近 10 万条 SQL 语法。支持渐进式改造,存算分离与存算一体混合部署模式灵活可选。

(2)架构扩展性提升:多集群架构实现分散 MPP 集群的统一纳管,弹性扩缩容能力适配业务增长需求。

(3)技术自主可控:全国产化技术栈(海光芯片+麒麟系统),并与腾讯 TBDS 实现数据湖管理标准统一。

未来,镜舟科技将持续完善 StarRocks 与腾讯 TBDS 的深度协同,为关键行业提供安全可靠的数据基座。

镜舟科技:企业级数据分析基座构建者

作为 StarRocks 开源项目的主要贡献者及商业化领军企业,镜舟科技基于“开源+商业化”双引擎模式,推出企业级产品镜舟数据库(Mirrorship)及 Lakehouse 解决方案:

(1)技术领先性,支持 PB 级实时分析的分布式数据库,并深度参与 StarRocks 开源社区建设,并基于此给企业级用户提供更多技术保障。

(2)行业实践积累,在金融领域支撑实时风控系统建设,企业级客户已覆盖超百家头部企业。

推广

特别声明:以上内容(如有图片或视频亦包括在内)均为站长传媒平台用户上传并发布,本平台仅提供信息存储服务,对本页面内容所引致的错误、不确或遗漏,概不负任何法律责任,相关信息仅供参考。站长之家将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。任何单位或个人认为本页面内容可能涉嫌侵犯其知识产权或存在不实内容时,可及时向站长之家提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明(点击查看反馈联系地址)。本网站在收到上述法律文件后,将会依法依规核实信息,沟通删除相关内容或断开相关链接。

  • 相关推荐
  • 重新定义开放式耳机通讯体验:开石OpenRock推出全球首款可拆卸磁吸咪杆开放式耳机,于Kickstarter震撼上线

    OpenRock推出全球首款可拆卸磁吸开放式耳机Link20,搭载独家MagShield™ FusionTech磁吸连接技术,解决传统开放式耳机通话质量差的痛点。产品采用人体工学近场音孔设计,配合5麦克风阵列与AI降噪系统,实现高清通话与Hi-Fi级音质。单耳仅重9克,支持IPX7防水与13小时续航,现已在Kickstarter开启首发预售,早鸟价105美元。

  • TCL会议电视:“屏”实力赢得企业青睐

    如今远程协作成为企业提升效率、保持竞争力的关键。TCL会议电视以卓越显示技术(如AG防眩光、178°超广视角、4K精准色彩)保障视觉体验;智慧协同功能实现"一拍即投"快速投屏、双频Wi-Fi稳定连接;内置主流会议软件及专业拾音系统,打造高效远程协作。凭借"硬件+软件+服务"全链路方案,TCL正推动会议电视向智能协作平台演进,以强大"屏"实力重塑企业会议体验,成为千行百业数字化转型的可靠伙伴。

  • 武汉汉南长江大桥:一体化平台如何解锁建设管理新密码?

    武汉都市圈加速区域经济一体化发展,其环线高速的汉南长江大桥及接线工程是关键项目。该项目采用数字化管理平台,集成BIM与GIS技术,实现设计施工模拟、数据协同及全过程智慧管控,提升工程质量与效率。创新应用电子印章、移动端管理等手段,推动档案数字化交付,确保数据真实可追溯,助力项目实现数字化、智慧化、绿色化建设目标。

  • 电力行业的“隐秘冠军”,得一微电子如何筑牢智能电网的存力基石?

    第五十一届电磁测量技术、标准、产品国际研讨会在温州举行,聚焦"践行量测使命·碳索融合赋能"主题,探讨AI与电力行业融合创新。得一微电子展示多款高可靠工业级宽温存力方案,覆盖电力全环节,具备全链自主可控能力,产品已获行业头部客户认可,电力领域市占率超50%,助力构建安全高效智能电网系统。

  • 适配南北取暖差异!海尔空调双11推超低温强热、地暖一体等新品

    近日,海尔空调在青岛发布多款冬季取暖新品,针对南北方不同气候特点提供解决方案。北方干冷地区推出“超低温强热”空调,搭载AI除霜科技,可在-35℃极寒环境下稳定制热;南方湿冷地区主打除菌除醛功能,卡萨帝空调配备定制除醛模块,除醛率超99%,并实现除湿不降温。海尔通过技术创新精准破解南北取暖痛点,为家庭打造温暖健康的冬日生活守护。

  • IBM与Anthropic达成战略合作,为企业软件开发注入AI赋能的安全和治理

    IBM与Anthropic达成战略合作,将Claude大语言模型集成至IBM软件产品及开发工具中,旨在加速企业级AI开发进程。该合作聚焦提升开发效率,在IBM全新AI集成开发环境中率先应用,支持代码生成、测试部署等全生命周期任务。内部测试显示生产力提升45%,同时确保代码质量与安全合规。双方强调将为企业提供安全可靠的AI解决方案,推动行业标准化发展。

  • 金仓数据库助力国家电网智慧计量工控系统上线

    国家电网在山东电力、河南电力两家超大型省公司成功试点上线智慧计量实验室(工控部分),系统运行稳定。以金仓数据库为支撑,实现关键计量设备数据高效管理与分析,标志着国网在构建现代先进测量体系道路上迈出关键一步。项目采用国产化技术路径,完成所有环节实施工作,确保系统国产化替换平稳上线,为零代码修改、高效迁移集成适配提供实践路径,为后续全国推广积累经验。

  • 3大首创科技再升级!海尔水产业发布多款新品

    10月15日,海尔热水器举办年度峰会暨新品发布会,聚焦三大创新科技:无镁棒热水器通过AI净护芯替代传统镁棒,实现主动防腐与长效免维护;升级版水晶胆热水器采用非金属内胆,达到零杂质、零金属析出,专为母婴及敏感肌设计;搭载航天级雾化技术的燃气热水器实现冷凝水100%外排,热效率达107.3%。现场同步发布净饮机等新品,以场景化方案覆盖家庭全屋用水需求,并通过牵头制定行业首项冷凝水排放标准推动产业升级。

  • 星环科技AI Infra平台:重构企业AI基础设施

    星环科技AI基础设施平台通过四层架构实现全面升级:资源平台统一调度异构资源;AI就绪数据平台支持11种数据模型统一处理;AI平台覆盖机器学习到大模型全生命周期;知识平台实现知识抽取与服务化。该平台具备多模型统一架构、全流程实时数据处理、高性能时序数据库等九大核心优势,形成从数据到知识、模型到应用的完整智能化支撑体系,助力企业规模化落地AI应用。

  • 颠覆行业!欧税通上线LinkSafe,用AI重新定义跨境合规!

    欧税通推出业内首款AI智能合规检测工具LinkSafe,通过"一个链接"输入即可秒级检测产品在全球200多个国家地区的合规性。该工具融合全球合规数据库与AI技术,覆盖税务、知识产权等六大维度,精准识别10万+法规条文和50万+高风险关键词,可视化呈现风险图谱并提供整改建议,帮助跨境卖家从被动应对转向主动防范,显著降低合规成本与风险。

今日大家都在搜的词: