首页 > 传媒 > 关键词  > 正文

时序数据库 IoTDB 赋能上海电气国轩智慧储能运营云平台建设

2024-05-10 09:55 · 稿源: 站长之家用户

1. 应用背景

上海电气国轩新能源科技有限公司(以下简称“上海电气国轩”)长期致力于电化学储能业务的技术研发、工程应用和市场开拓,实现从电芯到储能系统的全产业链覆盖,能够为新能源+储能、调峰调频、电网侧储能、工商业储能应用等提供一站式系统解决方案。其储能系统已进入全国18个省、市、自治区,已完成电源侧、电网侧、用户侧全场景应用布局。

围绕"一芯3S"(电芯、BMS、EMS、PCS)核心产品链,上海电气国轩构建了储能核心竞争力,其中"上海电气智慧储能运营云平台"为关键组成部分。

上海电气智慧储能运营云平台旨在运用物联网、大数据、机器学习等前沿数字化技术,提供对储能单元的状态感知、边缘协同管理、储能运行可靠性评估及储能系统运维策略等方面能力,构建满足储能智慧运营和智慧运维相结合的场景化解决方案。

该平台的建设存在两大难点:面向大规模储能场景的海量时序数据接入,以及多终端、多环境的云边协同。上海电气国轩通过选择 IoTDB 作为智慧储能运营云平台中,负责时序数据存储、查询、分析、传输的核心组件,实现了高通量写入、高压缩比、高实时查询返回,并建立了高扩展、高灵活度的数据模型与协同同步方案。

2. 应用痛点

大规模储能电站场景的时序数据管理,往往面临数据写入、存储、查询等性能挑战,并需要减少系统架构复杂度,降低系统维护成本,提高系统可靠性。具体来看:

数据量大,采集频率高

以200MWh 规模的储能电站为例,其一般包括几十台集装箱,共约百万个测点,以秒级频率进行采集,年数据量达到 TB 级别。而以集装箱为例,目前上海电气国轩系统已接入1GWh 容量、约400台设备,每台设备测点在6000~8000个左右,每个测点平均15~30秒更新一次数据。海量的时序数据增加了存储和计算资源的压力,超高的采集频率也对物联网终端设备的性能和稳定性提出了更高的要求。

数据的无序性

通常而言,采集数据多为连续数据流形式,从不同的外部数据源持续生成。但在工业互联网常见的端、边、云数据传输场景中,由于网络和安全策略等原因,往往无法控制这些数据流到达的顺序和产生的速率。数据流可以看作一个带有时间戳的、无限增长的结构化日志模型,它的流向是不可变的,一般不支持更新操作。所以大规模储能电站场景中,如何更好地接入、存储这些无序数据并实现协同部署,是一大挑战。

写入和查询性能要求

储能测点基数大,并采用及时变位存储,导致存储数据量巨大。如果数据库不能及时写入,系统设计的复杂度会随之提高。

同时,对于 TB 级别以上的数据量,传统的大数据手段可以做到非实时查询分析,但对时序数据最重要的实时查询场景,传统大数据手段可能无法满足性能要求。

此外,采集系统上传的原始数据一般无法满足业务需要,这些离散的原始数据需要进一步加工、处理、分析,而在此过程中依然需要保证写入性能,因此对系统的并发能力提出了要求。

灵活的数据模型要求

对于查询、处理过的更高重要性的数据,上海电气国轩希望将其直接加入到数据模型中,从而不断地完善扩展现有模型,因此需要数据库支持的数据模型具备高扩展性与灵活性。

并且,智慧储能运营云平台的设计初衷并非只满足储能系统数字化的需要,同时也希望满足风、光、充等新能源系统集成和其他类型系统的需要,因此需要针对各个行业实现灵活建模,并能够在开发过程灵活扩展。

3. 选择 IoTDB 原因

上海电气国轩之所以选择 IoTDB 作为智慧储能运营云平台中的时序数据管理核心组件,主要因为 IoTDB 有以下几点特性:

物联网原生

IoTDB 立足物联网/工业物联网业务场景,针对工业场景时序数据管理中数据通量高、数据模式弱、两节点高可用等典型需求,自主研发了 IoT/IIoT 全场景工具,能够提供低理解成本、高应用效能的完整解决方案。上海电气国轩对于 IoTDB 为工业业务场景量身研发的数据模型、功能、工具等成果十分认可。

稳定的写入支持

IoTDB 具备强大的海量时序数据写入能力,列式写入模式支持毫秒级接入,能够满足海量时序数据上报需求。在上海电气国轩实际应用中,以200MWH 容量电站的数据采集为例,总数40万测点中如同时有20万测点更新写入 IoTDB,经实践单机版写入毫无压力并保持运行稳定。

优异的数据压缩比

在存储压缩性能方面,IoTDB 结合自研的时序数据标准文件格式 TsFile,其中列式存储、编码算法、分段摘要信息、文件级索引等架构,能够使数据压缩比获得明显提升。

上海电气国轩将过去其他数据库约3T 的数据迁移到 IoTDB 上,只占用约100G 空间,大幅减少了资源占用与成本。目前上海电气国轩万亿量级的数据,只占用800GB 存储空间。对于200MWH 容量电站,单站部署机器要求的磁盘容量配置也相应大大降低,只需2~8T 便可满足5年以上数据的存储要求。

优雅的存储模型

传统时序数据模型需要通过 Table 进行管理,虽然能够实现测点的添加,但从概念上不免受到 Table 结构的约束,需要开发人员学习特定创建或修改的语句等,学习和记忆的成本均较高。

IoTDB 采用树形时序数据模型,能够直观地与工业场景中的工厂、设备、测点/传感器等层级进行对应。对于需要新增或变更的设备,IoTDB 也能够做到自动化同步,有效降低时序数据管理与运维成本的同时,也方便了模型的扩展,能够达到亿级时序数据的管理规模。

上海电气国轩基于 IoTDB 构建的时序数据模型

4. 应用架构及效果

上海电气国轩打造的上海电气智慧储能运营云平台,依托 IoTDB 以及大数据分析、智慧云平台等能源数字化技术,构建了储能系统的“端-边-云”协同系统,实现储能电站和设备的全面感知、实时监控、数据追溯、智能诊断以及储能系统的全生命周期管理,有效提升电站和设备的运行寿命以及经济性收益。

该平台可满足端-边-云业务场景下的所有业务需要,包含边缘侧数据接入、边缘侧数据处理、云侧数据接入、云端多级数据处理、数据管理等处理全链路,实现数据采集、边缘数据转发、数据存储、数据模型管理、可视化监测、决策分析等功能模块。

储能工业场景产生的数据从智能设备层上报,通过数据接入层的多类协议进行采集,传输进入数据存储层的各类数据库中,以供数据服务层的多类处理、分析功能进行调用、查询,最终服务业务层的数据可视化、告警检测、业务决策等方向。

在整个系统时序数据链路层,上海电气国轩借助 IoTDB 优势,将 IoTDB 应用至数据采集、数据存储、数据传输、数据分析等各个方面,用以管理电池电芯、储能电池簇、集装箱储能系统、5G 通信基站备用电源、UPS 备用电源等多类储能设备监测数据。

基于统一的、可插拔的文件格式 TsFile,上海电气国轩实现跨网闸文件同步,场站端侧向云侧数据上传,方便、灵活地协同传输需求。

借助 IoTDB 本身具备的高读写能力、高压缩能力、时序场景实时查询能力等,上海电气国轩可有效利用时序数据,支持分析电池利用率、使用寿命等业务服务。

不仅如此,上海电气国轩也对原有系统完成了重新设计和定义。依托 IoTDB,上海电气国轩全面设计和规范化模型,使其灵活支持业务的变化;在 IoTDB 实现的有效写入和压缩性能基础上,上海电气国轩全面优化系统部件,如场端去掉消息队列、Redis 等,从而大幅提升上海电气智慧储能运营云平台对时序数据管理的效率。

目前,上海电气智慧储能运营云平台接入测点约有500万点以上,每个测点平均每5~10秒更新一次数据,总数据存储量超过万亿条,并且随着业务的发展,测点数量还在不断增长中。

IoTDB 在功能、性能等方面的优势,成功帮助上海电气国轩系统从重服务蜕变为轻服务,有效降低开发难度,减轻系统运维压力,架构设计得到质的提高,并减少了企业的存储成本和计算成本。同时,IoTDB 优雅的树状结构模型也提升了服务接口之间的一致性。各方赋能下,上海电气国轩系统性能得到质的提升,目前没有发生劣化现象。

5. 应用场景举例

场景一:历史数据回溯

针对上海电气国轩需要从海量历史数据中回溯指定时刻数据,并完成可视化散点图渲染的需求,IoTDB 可在3秒内完成从读取数据到页面散点 Chart 的渲染。

场景二:历史数据可视化

针对上海电气国轩需要获取一月内的原始历史数据,并基于不同的设备或数据项绘制历史数据曲线的需求,IoTDB 可在2秒内完成从读取数据到曲线页面的可视化呈现。

6. 未来展望

目前,上海电气国轩基于 IoTDB 打造的上海电气智慧储能运营云平台已平稳、有效运行2年。

未来,伴随着储能行业的快速发展,时序数据的数据量也将呈现指数增长。上海电气国轩将继续与 IoTDB 团队紧密配合,挖掘时序数据对于储能业务场景的应用价值。

推广

特别声明:以上内容(如有图片或视频亦包括在内)均为站长传媒平台用户上传并发布,本平台仅提供信息存储服务,对本页面内容所引致的错误、不确或遗漏,概不负任何法律责任,相关信息仅供参考。站长之家将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。任何单位或个人认为本页面内容可能涉嫌侵犯其知识产权或存在不实内容时,可及时向站长之家提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明(点击查看反馈联系地址)。本网站在收到上述法律文件后,将会依法依规核实信息,沟通删除相关内容或断开相关链接。

  • 相关推荐
  • 大家在看
  • HumanizeAI Text:提升AI文本的人性化程度,增强用户互动。

    Humanize AI Text是一个先进的AI文本人性化工具,能够将AI生成的文本转换成更自然、更具人性化的文本,以避免AI检测,并提升内容的吸引力和可读性。它支持多语言,增强了内容的全球可访问性。主要优点包括内容塑形、多语言掌握、可读性提升、写作助手以及实时反馈的人性化得分,帮助用户理解并改进写作的人性化感觉。

  • MagicPublish.ai:为YouTube生成元数据的智能工具

    MagicPublish.ai是一个专注于为YouTube视频内容创建者提供元数据生成服务的在线平台。它通过自动化的方式帮助用户生成视频描述、标签和缩略图,从而提升视频的SEO优化和观众吸引力。产品的主要优点包括操作简便、自动化程度高、能够显著提升视频的在线可见度。

  • AITopRank:发现2024年最佳AI工具

    AI Top Rank是一个专注于AI工具发现和推广的平台,旨在帮助用户发现和使用最新的AI工具,促进AI技术的普及和应用。平台提供每周更新的AI工具排行榜,用户可以投票支持自己喜爱的工具,也可以提交自己的AI工具进行推广。

  • AutoStudio:多轮交互式图像生成技术

    AutoStudio是一个基于大型语言模型的多轮交互式图像生成框架,它通过三个代理与一个基于稳定扩散的代理来生成高质量图像。该技术在多主题一致性方面取得了显著进步,通过并行UNet结构和主题初始化生成方法,提高了图像生成的质量和一致性。

  • Nemotron-4 340B:用于训练大型语言模型的开源合成数据生成管道。

    Nemotron-4 340B是NVIDIA发布的一系列开放模型,专为生成合成数据以训练大型语言模型(LLMs)而设计。这些模型经过优化,可以与NVIDIA NeMo和NVIDIA TensorRT-LLM配合使用,以提高训练和推理的效率。Nemotron-4 340B包括基础、指令和奖励模型,形成一个生成合成数据的管道,用于训练和完善LLMs。这些模型在Hugging Face上提供下载,并很快将在ai.nvidia.com上提供,作为NVIDIA NIM微服务的一部分。

  • Joor:完美的日记应用,记录你的想法。

    Joor是一款日记应用,它允许用户写下自己的想法,并由应用自动处理其余部分。它提供了一个简洁的界面,让用户能够轻松地记录下自己的思考和灵感,同时可能还具备一些自动整理和回顾的功能。

  • Samba:高效无限上下文语言模型的官方实现

    Samba是一个简单而强大的混合模型,具有无限的上下文长度。它的架构非常简单:Samba = Mamba + MLP + 滑动窗口注意力 + 层级MLP堆叠。Samba-3.8B模型在Phi3数据集上训练了3.2万亿个token,主要基准测试(例如MMLU、GSM8K和HumanEval)上的表现大大超过了Phi3-mini。Samba还可以通过最少的指令调整实现完美的长上下文检索能力,同时保持与序列长度的线性复杂度。这使得Samba-3.8B-instruct在下游任务(如长上下文摘要)上表现出色。

  • TC-Bench:视频生成模型的时间组合性评估工具

    TC-Bench是一个专门用于评估视频生成模型的时间组合性的工具。它通过精心设计的文本提示、相应的真实视频以及强大的评估指标来衡量视频生成模型在不同时间点上新概念的出现及其关系转换的能力。TC-Bench不仅适用于文本条件模型,也适用于图像条件模型,能够进行生成性帧插值。该工具的开发旨在推动视频生成技术的发展,提高生成视频的质量和一致性。

  • Promptchains:智能AI工作流构建器,释放AI潜力。

    Promptchains是一个革命性的AI工作流构建器,旨在通过提示链技术解锁AI的潜力。它将复杂任务转化为智能解决方案,实现AI的承诺。产品通过组合AI提示和其他工具到工作流中,使企业能够轻松定制、保存、重用和分享。它超越了AI交互的新奇性,创造了能够与熟练的人类员工并肩工作的解决方案。

  • Sanctuary:个性化冥想引导,由AI驱动,提升专注力,减压助眠。

    Sanctuary是一款利用尖端AI技术为用户提供个性化冥想指导的应用程序。它通过智能学习用户偏好,提供每日更新的冥想内容,帮助用户改善专注力,减少压力,并促进更好的睡眠。该应用拥有超过10万次的个性化冥想创建记录,用户反馈显示,它简化了冥想过程,使冥想变得容易和可访问,对于缓解焦虑和整体压力水平有显著效果。

  • Partnerplace:合作伙伴管理工具,提升合作效率。

    Partnerplace是一款专为合作伙伴关系管理设计的在线工具,它通过自动化繁琐的任务,如佣金处理,帮助企业高效管理和发展合作伙伴网络。该工具支持定制化合作伙伴计划,实现品牌专业体验,并通过集中化平台提高工作效率。Partnerplace的价值观包括弹性、参与度和连接性,旨在为用户提供一个完全定制化的、参与性强的、连接销售团队和CRM系统的合作伙伴管理系统。

  • Depth Anything V2:先进的单目深度估计模型

    Depth Anything V2 是一个经过改进的单目深度估计模型,它通过使用合成图像和大量未标记的真实图像进行训练,提供了比前一版本更精细、更鲁棒的深度预测。该模型在效率和准确性方面都有显著提升,速度比基于Stable Diffusion的最新模型快10倍以上。

  • OTTO SEO by Search Atlas:革命性的AI SEO工具,简化SEO工作流程。

    OTTO SEO是Search Atlas推出的一款AI驱动的SEO工具,旨在通过自动化技术优化网站,提高SEO效率。它通过添加OTTO像素到网站,能够自动执行网页优化,包括技术修复、内容优化、反向链接建设和内容创作。OTTO SEO的主要优点在于节省时间、提高效率,并帮助营销团队或代理公司实现SEO策略的自动化和优化。

  • AI drafts by Help Scout:提升客服团队效率,实现个性化客户服务。

    Help Scout提供的AI客服平台,通过人工智能技术,帮助客服团队提升工作效率,减少重复性工作,让团队成员能够专注于更复杂和个性化的客户对话。平台特点包括无需编程即可使用、快速回复、提升客户满意度,以及通过AI生成回复草稿等。

  • OpenVLA:开源视觉-语言-动作模型,推动机器人操作技术发展。

    OpenVLA是一个具有7亿参数的开源视觉-语言-动作(VLA)模型,通过在Open X-Embodiment数据集上的970k机器人剧集进行预训练。该模型在通用机器人操作策略上设定了新的行业标准,支持开箱即用控制多个机器人,并且可以通过参数高效的微调快速适应新的机器人设置。OpenVLA的检查点和PyTorch训练流程完全开源,模型可以从HuggingFace下载并进行微调。

  • VideoLLaMA 2:视频理解领域的先进空间-时间建模与音频理解模型。

    VideoLLaMA 2 是一个针对视频理解任务优化的大规模语言模型,它通过先进的空间-时间建模和音频理解能力,提升了对视频内容的解析和理解。该模型在多选视频问答和视频字幕生成等任务上展现了卓越的性能。

  • HumanPlus:人类动作模仿与自主技能学习系统

    HumanPlus是一个研究项目,旨在通过模仿人类动作来训练人形机器人,从而实现自主技能学习。该项目通过模拟强化学习训练低级策略,并将这些策略应用到真实世界中,实现实时跟踪人类身体和手部动作。通过影子模仿技术,操作员可以远程操作机器人收集全身数据,用于学习不同任务。此外,通过行为克隆技术,机器人能够模仿人类技能,完成各种任务。

  • Jace:AI助手,助力高效营销与管理。

    Jace是一款商业领域的AI助手,专注于提升营销效率,无需专业技能即可轻松启动和管理营销活动。其主要优点包括创建针对性的营销活动、实时监控性能和随时优化。

  • ARC-AGI:人工智能通用推理测试集

    ARC-AGI是一个旨在测试人工智能系统是否具备类似人类一般流体智力的抽象和推理能力的数据集。它由400个训练任务和400个评估任务组成,每个任务都以JSON格式存储,包括输入输出对。该数据集可以作为人工智能基准测试、程序合成基准测试或心理测量智力测试。

  • PROTEUS:实时表情生成人类模型

    PROTEUS是Apparate Labs推出的一款下一代基础模型,用于实时表情生成人类。它采用先进的transformer架构的潜在扩散模型,创新的潜在空间设计实现了实时效率,并能通过进一步的架构和算法改进,达到每秒100帧以上视频流。PROTEUS旨在提供一种通过语音控制的视觉体现,为人工对话实体提供直观的接口,并且与多种大型语言模型兼容,可定制用于多种不同应用。

今日大家都在搜的词:

热文

  • 3 天
  • 7天