首页 > 传媒 > 关键词  > 正文

时序数据库 IoTDB 赋能上海电气国轩智慧储能运营云平台建设

2024-05-10 09:55 · 稿源: 站长之家用户

1.应用背景

上海电气国轩新能源科技有限公司(以下简称“上海电气国轩”)长期致力于电化学储能业务的技术研发、工程应用和市场开拓,实现从电芯到储能系统的全产业链覆盖,能够为新能源+储能、调峰调频、电网侧储能、工商业储能应用等提供一站式系统解决方案。其储能系统已进入全国18个省、市、自治区,已完成电源侧、电网侧、用户侧全场景应用布局。

围绕"一芯3S"(电芯、BMS、EMS、PCS)核心产品链,上海电气国轩构建了储能核心竞争力,其中"上海电气智慧储能运营云平台"为关键组成部分。

上海电气智慧储能运营云平台旨在运用物联网、大数据、机器学习等前沿数字化技术,提供对储能单元的状态感知、边缘协同管理、储能运行可靠性评估及储能系统运维策略等方面能力,构建满足储能智慧运营和智慧运维相结合的场景化解决方案。

该平台的建设存在两大难点:面向大规模储能场景的海量时序数据接入,以及多终端、多环境的云边协同。上海电气国轩通过选择 IoTDB 作为智慧储能运营云平台中,负责时序数据存储、查询、分析、传输的核心组件,实现了高通量写入、高压缩比、高实时查询返回,并建立了高扩展、高灵活度的数据模型与协同同步方案。

2.应用痛点

大规模储能电站场景的时序数据管理,往往面临数据写入、存储、查询等性能挑战,并需要减少系统架构复杂度,降低系统维护成本,提高系统可靠性。具体来看:

数据量大,采集频率高

以200MWh 规模的储能电站为例,其一般包括几十台集装箱,共约百万个测点,以秒级频率进行采集,年数据量达到 TB 级别。而以集装箱为例,目前上海电气国轩系统已接入1GWh 容量、约400台设备,每台设备测点在6000~8000个左右,每个测点平均15~30秒更新一次数据。海量的时序数据增加了存储和计算资源的压力,超高的采集频率也对物联网终端设备的性能和稳定性提出了更高的要求。

数据的无序性

通常而言,采集数据多为连续数据流形式,从不同的外部数据源持续生成。但在工业互联网常见的端、边、云数据传输场景中,由于网络和安全策略等原因,往往无法控制这些数据流到达的顺序和产生的速率。数据流可以看作一个带有时间戳的、无限增长的结构化日志模型,它的流向是不可变的,一般不支持更新操作。所以大规模储能电站场景中,如何更好地接入、存储这些无序数据并实现协同部署,是一大挑战。

写入和查询性能要求

储能测点基数大,并采用及时变位存储,导致存储数据量巨大。如果数据库不能及时写入,系统设计的复杂度会随之提高。

同时,对于 TB 级别以上的数据量,传统的大数据手段可以做到非实时查询分析,但对时序数据最重要的实时查询场景,传统大数据手段可能无法满足性能要求。

此外,采集系统上传的原始数据一般无法满足业务需要,这些离散的原始数据需要进一步加工、处理、分析,而在此过程中依然需要保证写入性能,因此对系统的并发能力提出了要求。

灵活的数据模型要求

对于查询、处理过的更高重要性的数据,上海电气国轩希望将其直接加入到数据模型中,从而不断地完善扩展现有模型,因此需要数据库支持的数据模型具备高扩展性与灵活性。

并且,智慧储能运营云平台的设计初衷并非只满足储能系统数字化的需要,同时也希望满足风、光、充等新能源系统集成和其他类型系统的需要,因此需要针对各个行业实现灵活建模,并能够在开发过程灵活扩展。

3.选择 IoTDB 原因

上海电气国轩之所以选择 IoTDB 作为智慧储能运营云平台中的时序数据管理核心组件,主要因为 IoTDB 有以下几点特性:

物联网原生

IoTDB 立足物联网/工业物联网业务场景,针对工业场景时序数据管理中数据通量高、数据模式弱、两节点高可用等典型需求,自主研发了 IoT/IIoT 全场景工具,能够提供低理解成本、高应用效能的完整解决方案。上海电气国轩对于 IoTDB 为工业业务场景量身研发的数据模型、功能、工具等成果十分认可。

稳定的写入支持

IoTDB 具备强大的海量时序数据写入能力,列式写入模式支持毫秒级接入,能够满足海量时序数据上报需求。在上海电气国轩实际应用中,以200MWH 容量电站的数据采集为例,总数40万测点中如同时有20万测点更新写入 IoTDB,经实践单机版写入毫无压力并保持运行稳定。

优异的数据压缩比

在存储压缩性能方面,IoTDB 结合自研的时序数据标准文件格式 TsFile,其中列式存储、编码算法、分段摘要信息、文件级索引等架构,能够使数据压缩比获得明显提升。

上海电气国轩将过去其他数据库约3T 的数据迁移到 IoTDB 上,只占用约100G 空间,大幅减少了资源占用与成本。目前上海电气国轩万亿量级的数据,只占用800GB 存储空间。对于200MWH 容量电站,单站部署机器要求的磁盘容量配置也相应大大降低,只需2~8T 便可满足5年以上数据的存储要求。

优雅的存储模型

传统时序数据模型需要通过 Table 进行管理,虽然能够实现测点的添加,但从概念上不免受到 Table 结构的约束,需要开发人员学习特定创建或修改的语句等,学习和记忆的成本均较高。

IoTDB 采用树形时序数据模型,能够直观地与工业场景中的工厂、设备、测点/传感器等层级进行对应。对于需要新增或变更的设备,IoTDB 也能够做到自动化同步,有效降低时序数据管理与运维成本的同时,也方便了模型的扩展,能够达到亿级时序数据的管理规模。

上海电气国轩基于 IoTDB 构建的时序数据模型

4.应用架构及效果

上海电气国轩打造的上海电气智慧储能运营云平台,依托 IoTDB 以及大数据分析、智慧云平台等能源数字化技术,构建了储能系统的“端-边-云”协同系统,实现储能电站和设备的全面感知、实时监控、数据追溯、智能诊断以及储能系统的全生命周期管理,有效提升电站和设备的运行寿命以及经济性收益。

该平台可满足端-边-云业务场景下的所有业务需要,包含边缘侧数据接入、边缘侧数据处理、云侧数据接入、云端多级数据处理、数据管理等处理全链路,实现数据采集、边缘数据转发、数据存储、数据模型管理、可视化监测、决策分析等功能模块。

储能工业场景产生的数据从智能设备层上报,通过数据接入层的多类协议进行采集,传输进入数据存储层的各类数据库中,以供数据服务层的多类处理、分析功能进行调用、查询,最终服务业务层的数据可视化、告警检测、业务决策等方向。

在整个系统时序数据链路层,上海电气国轩借助 IoTDB 优势,将 IoTDB 应用至数据采集、数据存储、数据传输、数据分析等各个方面,用以管理电池电芯、储能电池簇、集装箱储能系统、5G 通信基站备用电源、UPS 备用电源等多类储能设备监测数据。

基于统一的、可插拔的文件格式 TsFile,上海电气国轩实现跨网闸文件同步,场站端侧向云侧数据上传,方便、灵活地协同传输需求。

借助 IoTDB 本身具备的高读写能力、高压缩能力、时序场景实时查询能力等,上海电气国轩可有效利用时序数据,支持分析电池利用率、使用寿命等业务服务。

不仅如此,上海电气国轩也对原有系统完成了重新设计和定义。依托 IoTDB,上海电气国轩全面设计和规范化模型,使其灵活支持业务的变化;在 IoTDB 实现的有效写入和压缩性能基础上,上海电气国轩全面优化系统部件,如场端去掉消息队列、Redis 等,从而大幅提升上海电气智慧储能运营云平台对时序数据管理的效率。

目前,上海电气智慧储能运营云平台接入测点约有500万点以上,每个测点平均每5~10秒更新一次数据,总数据存储量超过万亿条,并且随着业务的发展,测点数量还在不断增长中。

IoTDB 在功能、性能等方面的优势,成功帮助上海电气国轩系统从重服务蜕变为轻服务,有效降低开发难度,减轻系统运维压力,架构设计得到质的提高,并减少了企业的存储成本和计算成本。同时,IoTDB 优雅的树状结构模型也提升了服务接口之间的一致性。各方赋能下,上海电气国轩系统性能得到质的提升,目前没有发生劣化现象。

5.应用场景举例

场景一:历史数据回溯

针对上海电气国轩需要从海量历史数据中回溯指定时刻数据,并完成可视化散点图渲染的需求,IoTDB 可在3秒内完成从读取数据到页面散点 Chart 的渲染。

场景二:历史数据可视化

针对上海电气国轩需要获取一月内的原始历史数据,并基于不同的设备或数据项绘制历史数据曲线的需求,IoTDB 可在2秒内完成从读取数据到曲线页面的可视化呈现。

6.未来展望

目前,上海电气国轩基于 IoTDB 打造的上海电气智慧储能运营云平台已平稳、有效运行2年。

未来,伴随着储能行业的快速发展,时序数据的数据量也将呈现指数增长。上海电气国轩将继续与 IoTDB 团队紧密配合,挖掘时序数据对于储能业务场景的应用价值。

推广

特别声明:以上内容(如有图片或视频亦包括在内)均为站长传媒平台用户上传并发布,本平台仅提供信息存储服务,对本页面内容所引致的错误、不确或遗漏,概不负任何法律责任,相关信息仅供参考。站长之家将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。任何单位或个人认为本页面内容可能涉嫌侵犯其知识产权或存在不实内容时,可及时向站长之家提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明(点击查看反馈联系地址)。本网站在收到上述法律文件后,将会依法依规核实信息,沟通删除相关内容或断开相关链接。

  • 相关推荐
  • 大家在看
  • 平台+终端”一步到位,小鱼易连新一代视频会议助力省级政务云平台建设

    近年来,政务信息化建设快速发展,为提高政府运转效率、提升行政效能提供有力支撑,伴随而来的,也在一定程度上存在着重复建设、使用率较低、设备闲置等问题,这就需要打破信息孤岛,建设能整合各部门业务的基础平台,实现全省范围内的跨部门、跨层级、跨区域数据共享和业务协同。小鱼易连以“平台+终端”的新一代视频会议解决方案为基础,为政府构建政务云音�

  • Forrester发布向量数据库市场报告:腾讯、华为成唯二入选厂商

    国际行业研究与咨询机构Forrester最新发布了《TheVectorDatabasesLandscape,Q22024》报告,腾讯云向量数据库获得认可和推荐。随着大模型时代的到来,向量数据库正在成为企业便捷使用大模型、最大化发挥数据价值的关键工具。腾讯云将继续深耕各行业不同的需求,持续创新技术,打磨产品和解决方案能力,通过企业级和智能化的能力助力各行各业一起走向AGI。

  • 美国参议院提交《安全人工智能法案》旨在建立违规行为数据库

    参议院近日提交了一项新法案,旨在通过强制创建记录所有人工智能系统违规行为的数据库来跟踪安全问题。该法案由参议员马克·华纳和汤姆·蒂利斯提出,名为《安全人工智能法案》。《安全人工智能法案》目前需通过一个委员会审议后,方可提交至更大的参议院审议。

  • 又是一年春好处:2024 HOTELEX上海展,Barsetto百胜图大放异彩

    HOTELEX上海国际酒店用品博览会作为酒店餐饮行业全球规模最大、影响力最强、水平最高的博览会之一,一直以来都是各品牌趋之若鹜的目标对于咖啡爱好者言,HOTELEX上海展同样是一场狂欢,这里不仅有创意满满的产品迭代、充满看点的技术革新,更有着世界级专业赛事的精彩竞技,是咖啡届名副其实的年度盛会。3月27-30日,2024HOTELEX上海展于上海浦西•虹桥国家会展中心落下帷幕,在这场为其四天的大型咖啡爱好者见面会中,有一位“老朋友”的身影格外显眼,它就是咖啡机器领域的佼佼者,去年受到参展人员一致好评的连续两届参展商——Barsetto百胜图!下面,就让我们跟随Barsetto百胜图的视角,一同来回顾HOTELEX上海展中的精彩与感动吧!惊喜新品粉墨登场,引领咖啡潮流趋势去年5月的盛况还历历在目,彼时,既是Barsetto百胜图首次参加Hotelex上海展,也是其首次开放研磨一体咖啡机BAE-PRO1、带秤半自动咖啡机BAE-M3、专业电动磨豆机BAG-G01等多款2023新品的线下体验渠道,不仅受到了众多咖啡爱好者的支持与喜爱,也赢得了从业人士的广泛称赞和肯定。Barsetto百胜图将带着初心与热忱,用优秀的产品设计和创意巧思,为更多咖啡爱好者提供更加专业的咖啡机器。

  • Chat2DB:普通人也能用的AI驱动的数据开发和分析平台

    Chat2DB是一个AI驱动的数据管理平台,旨在简化和增强数据库操作流程。该平台已经吸引了超过一百万开发者的使用,并在GitHub上获得了大量关注和支持。该项目已经吸引了超过100万开发者的使用,并且在GitHub上获得了大量关注和支持。

  • 我们开源啦!一键部署免费使用!Kubernetes上直接运行大数据平台!

    导语:市场上首个K8s上的大数据平台,开源了!智领云自主研发的首个完全基于Kubernetes的容器化大数据平台KubernetesDataPlatform开源啦!开发者只要准备好命令行工具,一键部署Hadoop,Hive,Spark,Kafka,Flink,MinIO...就可以创建以前要花几十万甚至几百万才可以买到的大数据平台无需再花大量的时间和经费去做重复的研发高度集成,单机即可体验大数据平台在高级安装模式下用户可在现有的K8s集群上集成运行大数据组件不用额外单独建设大数据集群项目地址:https://github.com/linktimecloud/kubernetes-data-platform辛辛苦苦研究出来的成果,为什么要开源?这波格局开大,老板有话说问题1:我们为什么要开源?我们的产品一直是基于大数据开源生态体系建设的。之前就一直有开源回馈社区的计划,但是因为之前Kubernetes对于大数据组件的支持还不够成熟,我们也一直在迭代与Kubernetes的适配。贡献参考开发者指南,了解如何开发及贡献KDP。

  • 亮相医院建设大会|海尔智慧楼宇引领绿色医院建设新纪元

    5月17日-19日,以面向高质量发展,全面推动美好医院建设科技创新为主题的CHCC2024全国医院建设大会在成都召开。海尔智慧楼宇携绿色医院全场景智慧低碳解决方案惊艳亮相,为未来的医院建设,提供绿色新可能。海尔智慧楼宇必将为医院建设注入更多的绿色智慧元素,助力医疗事业高质量发展。

  • Hugging Face开源机器人代码LeRobot,AI机器人研发迎来新纪元

    AI初创公司HuggingFace宣布开源其机器人工具包LeRobot,这一举措标志着AI机器人研发领域迎来了重大利好。HuggingFace已成功吸引前特斯拉科学家RemiCadene加入,领导这一新的开源项目。这一开源精神和对社区的贡献预示着AI机器人技术将进入一个快速发展的新阶段。

  • WotoKOL卧兔网络SAAS产品WotoHub,管理看板+用户中心更新迭代

    WotoKOL卧兔网络旗下产品——WotoHub平台的管理看板与用户中心两大核心板块迎来重大革新升级。本次更新不仅深度聚焦于数据深度优化,更在视觉交互与信息呈现维度实现了突破性变革——创新引入团队/账号双重视角查看管理模式。WotoHub将持续倾听用户声音,不断创新升级,为广大用户提供更卓越的使用体验。

  • 小米SU7智能泊车完成率95%:后续将OTA实现机械泊入能力

    在今天的小米汽车问答中,官方解答了关于智能泊车功能的疑问。SU7小米智能泊车辅助目前支持涵盖侧方位、空间车位、极窄车位等200余种类型车位泊入,完成率超过95%。到达目标车位后,如果被占用,小米SU7也能自主选择旁边空余车位,适合新手司机或不想自己停车的用户。

今日大家都在搜的词: