首页 > 传媒 > 关键词  > 智能汽车技术最新资讯  > 正文

时序数据库IoTDB构筑长安汽车海量车况数据管理新引擎,助力智能网联汽车发展

2024-06-12 10:37 · 稿源: 站长之家用户

本文源于:长安汽车智能化研究院

业务场景介绍

1. 公司简介:长安汽车,全称“重庆长安汽车股份有限公司”,是中国领先的汽车制造商之一,以广泛的产品线和创新技术而闻名。长安汽车不仅提供多种乘用车和商用车,还在智能网联汽车技术方面处于行业前沿,特别是在车联网平台的开发上。

车联网平台是长安汽车智能化战略的核心组成部分,该平台利用云计算大数据、物联网和人工智能等技术,实现车辆与外部环境、其他车辆以及交通基础设施的互联互通。其核心平台VOT实现了万级车辆实时在线、毫秒级通讯互联、完整的生态接入能力,并在此基础上提供实时数据采集、海量数据分析计算、实时预警车辆故障、保证车辆安全驾驶等功能,显著提升了用户的用车体验。

2. 业务全景介绍:长安汽车智能化研究院承担了长安汽车智能化转型的重要角色,其车联网平台是公司智能化战略的重要组成部分,该平台借助大数据、云计算和人工智能等先进的数字技术,为消费者提供更安全、更舒适、更便捷的智能驾驶体验。主要包含的业务如下:

车联网核心平台VOT:公司基于超大规模云原生架构下设计的车云核心服务,业务涵盖车辆远控、车况、事件通讯、服务编排、规则引擎等核心能力,通过物联网时序数据库IoTDB实现了万级的车辆稳定接入、千万点每秒的数据并发处理以及超高的终端接入兼容性,是长安汽车所有车辆的云上大脑。

数据分析平台:公司基于Apache Doris升级了车联网数据分析平台,支持单日百亿级别数据的实时处理,并能实现十亿级别数据查询的秒级响应。该平台为长安汽车在提升用户用车体验、实时预警车辆故障、保证车辆安全驾驶等方面带来显著成果。

云器Lakehouse大数据平台:公司建设了基于云器Lakehouse的车联网大数据平台,面对超大规模数据量和业务的飞速发展,解决了成本高、用数难、运维烦等挑战。

车联网业务整体架构图

3. 平台时序数据管理能力建设:伴随着长安汽车旗下主要品牌(包括阿维塔、深蓝、启源等)的迅猛扩张以及智能网联汽车的数量呈指数级增长,车联网平台迎来了比较罕见的压力。这种增长不仅给车联网平台带来了数据并发处理的挑战,也导致了平台海量数据处理成本的上升、效率的下降以及实时和历史数据存储费用的增加。

具体来看,车况信息作为众多车辆数据中的核心数据,海量的连接数量导致数据上报量也呈指数级增长。在当前的日活跃用户数下,每日实时上行的车况数据量已达到惊人的200T。

IoTDB作为长安汽车车联网平台的核心数据存储引擎,扮演着至关重要的角色,不仅支持高并发的读写操作,还负责历史数据的长期存储。

业务需求痛点

1. 海量并发写入性能低。当前,在长安汽车闲时活跃用户量约200万的情况下,车联网平台实时上传的车况数据并发量已经稳定在数十万级别。由于不同车型导致的车况模板信息需求差异,动态存储成为了一个迫切需要解决的问题。

同时,相比传统汽车,智能汽车领域单个智能汽车的数据交互量呈现出数十倍的增长。以长安汽车近千万的日活跃用户量计算,长安汽车车联网平台长期承受着每秒超过50万次的数据传输压力。如此海量数据压力下,传统数据库面临着服务器资源高负载和写入性能的双重挑战。

2. 存储与查询灵活性差。在面对这些挑战时,长安汽车现有车况数据存储引擎HBase表现出明显的劣势:原数据存储引擎数据模型基于行键、列族和时间戳,所有的数据访问模式都必须围绕该模型设计。若数据访问模式与 HBase 的数据模型不匹配,可能会导致查询效率降低。

而且,HBase 不支持像传统关系型数据库般的联结操作和复杂的事务处理。因此在需要进行复杂查询的应用场景中,HBase 可能并不是理想选择。

此外,HBase 的查询通常涉及全表扫描,这在大型表中会消耗大量资源和时间。尽管这一问题可以通过使用过滤器来减少扫描的数据量,但仍然是一个需要考虑的性能瓶颈。

3. 历史数据存储成本高。HBase 作为一种基于列的存储解决方案,虽然适合存储稀疏数据,但在处理高频更新和小批量随机读写操作时效率并不理想。同时,尽管 HBase 支持 GZIP、Snappy 等多种压缩算法以有效减少存储空间占用,但这些操作可能会增加 CPU 使用率,并降低数据的读写性能,从而无法满足大数据量下数据实时处理的需求。

4. 中心计算资源紧张。长安汽车原有的车况数据架构基于纯云端的 HBase 存储,强烈依赖于 Hadoop 生态计算架构,这种计算架构并非轻量级,其所有计算成本都紧密围绕着建立的生态系统。这种依赖性,对云核心的负载造成了极大压力。

此外,HBase 基于单个主节点的集群架构,在面临故障时虽然可以继续连接其他区域(region),但主节点的恢复时间较长,从而导致计算链路性能下降,这也意味着所有计算压力都集中在云端,单就HBase而言其复杂的架构难以在边缘节点上部署。

选型 IoTDB 原因

1. 支持动态模板的海量并发处理能力。IoTDB基于时间序列的存储结构优化与Hbase针对基于时间序列的固定模板不同,IoTDB的元数据模板支持动态的增删改查,并在此基础上实现了物理量元数据共享,优化了存储及使用成本。

IoTDB也支持高并发连接,单台服务器可以处理数万次并发连接/秒,具备高写入吞吐的特点;单核处理写入请求可以达到数万次/秒,单台服务器的写入性能可以达到数千万点/秒;在集群环境下,写入性能可以线性扩展,集群的写入性能可达数亿点/秒。

2. 实时读写与有效压缩兼顾。IoTDB使用更有效的时间序列数据压缩技术,如 Gorilla 编码,可以在保持较高压缩比的同时,实现快速的数据读写,既降低了历史车况的存储压力,又满足了车联网下车况数据的实时使用场景。

3. 端云计算架构。IoTDB 的轻量级架构适用于边缘设备,具有有效的数据管理和存储能力。在边缘节点,IoTDB支持低延迟的查询,使实时数据分析成为可能;终端层的数据通过边缘层的IoTDB进行实时采集、处理和存储,并进行一系列的分析任务后,后续数据可上传到云端IoTDB,满足车联网领域中大规模数据存储、高速数据摄入和复杂数据分析的需求。

边缘IoTDB结合IoTDB云版本,可以支持在不同环境中管理时间序列数据,提升数据质量,降低云计算的成本。

IoTDB时序数据管理流程简述

长安汽车车联网平台原有方案采取较为简单的车况上报,经由网关转发后实时车况存储在redis,历史车况存储在Hbase。

基于IoTDB的新方案采用端云协作计算,部分车况数据在终端进行数据整合,也可根据特定需求(如国家采集标准的数据格式转换、周期数据整合等)自行在终端进行简单计算、短期存储。按照配置上传云端,通过规则引擎进行分发后,基于IoTDB实时性高的特征,同时进行实时数据推送、实时数据redis存储、历史数据IoTDB落库并提供查询接口做数据统一。

车联网平台VOT完整架构图

应用效果

1. 车况上报百万并发写入。面向长安汽车万级在线车辆实时车况数据上报、实时存储查询场景,IoTDB每秒写入能力达到800w+,并且支持水平扩展承载更高的压力。

当前,长安汽车VOT平台实时接入车辆数量达到200万辆,每日产生的数据量高达1500亿条记录。在这种规模下,依托IoTDB打造的新系统能够保持写入延迟在毫秒级别,数据实现快速可靠写入。

平台单日产生的数据量累计约200T,在经过IoTDB有效实时存储处理后,数据量得以大幅压缩,最终存储量约为30T,实现了约10倍的数据压缩比例。在当前的数据存量(覆盖近90天的时间范围)下,IoTDB在大数据处理和存储方面的卓越性能得以体现。

2. 历史车况有效查询。针对目前长安汽车的万亿级车况数据,IoTDB将查询延迟控制在50ms内,完全满足所需性能。

此外,VOT平台的数据处理架构设计充分考虑到高并发和大数据量的挑战,并基于IoTDB及其完善的生态接入能力,通过采用先进的数据索引和查询优化技术,从而支持快速的数据检索和分析。

不仅如此,平台还集成了机器学习算法,用于智能预测和维护车辆状态,进一步提升数据处理的效率和准确性。这些技术的应用不仅提高数据处理的速度、降低运维成本,也为用户提供了更加稳定和可靠的服务体验。

3. 平台效果展示

启源App首页

车联网VOT服务管理

推广

特别声明:以上内容(如有图片或视频亦包括在内)均为站长传媒平台用户上传并发布,本平台仅提供信息存储服务,对本页面内容所引致的错误、不确或遗漏,概不负任何法律责任,相关信息仅供参考。站长之家将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。任何单位或个人认为本页面内容可能涉嫌侵犯其知识产权或存在不实内容时,可及时向站长之家提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明(点击查看反馈联系地址)。本网站在收到上述法律文件后,将会依法依规核实信息,沟通删除相关内容或断开相关链接。

  • 相关推荐
  • 大家在看
  • 长安汽车总裁:想进汽车行业工作 大学几乎所有专业都可以

    近期,预测2025年我国新能源汽车人才缺口达103万的话题,引起网友关注热议。有网友表示,新能源汽车行业人才缺口大,现在大学报考汽车专业,未来的工作机会也更有前景。

  • 亚信科技AntDB数据库团队送培训到一线,助力客户玩转好产品

    有好产品不等于用好产品,这是toB业务中甲乙双方的共识。在数字化转型大潮中,如何让客户拥有好产品更能“玩转”好产品?围绕应用场景提供完善的培训课程,帮助客户与产品共同成长,便是办法之一。6月的ACP中级培训已开启,亚信科技欢迎更多行业客户、从业者、技术爱好者加入培训行列,共同探索数据库管理的深度与广度,携手推动国产数据库创新与发展。

  • 8月底签最终文件 长安汽车朱华荣:与华为合资公司推进中

    快科技7月3日消息,还记得去年11月底长安汽车与华为签署《投资合作备忘录》一事吗?终于有了最新进展。长安汽车董事长朱华荣今日表示,与华为组建合资公司一事正在有序推进中,由于工作量大、长安汽车属于上市公司,且与华为双方有约定,没有落到签字那天还不能说最终确定”。但他透露称,如果审批可以通过,那么长安、华为、宁德时代成立的阿维塔也会参与到新合资公司项目中,而据长安汽车公告,该公司预计不晚于2024年8月31日与华为签订最终交易文件。事件回顾:2023年11月25日,长安汽车与华为签署《投资合作备忘录》,拟设立一家从事?

  • 亚信安慧亮相PostgreSQL峰会,分享AntDB数据库国产化运维之路

    PostgreSQL数据库技术峰会广州站圆满落幕。亚信安慧数据库智能运维产品负责人李志龙带来了《AntDB数据库运维之路》的主题演讲。亚信安慧将继续携手PostgreSQL社区,共同推动我国数据库技术的发展与创新,为百业千行提供更稳定、更高效、更智能的数据管理服务。

  • 深耕高质量AI数据价值,云测数据助力人工智能技术发展

    在数字经济蓬勃发展的时代,人工智能作为前沿技术正引领着经济的新变革,在产业升级、商业模式创新、社会发展等方面开始展现出强大的赋能效应。随着应用成果的落地,大模型的价值正在释放,数字生产力持续提升。其中包含众多世界500强企业、高校科研机构、政府机构、头部AI企业和大型互联网企业,涵盖了计算机视觉、语音识别、自然语言处理、知识图谱等AI主流技术领域。

  • 人大金仓25载:坚守信念,铸就国产数据库之光

    北京人大金仓信息技术股份有限公司在这波澜壮阔的历史长河中,乘风破浪,迎来了25周年辉煌时刻。点亮征途在数字化浪潮汹涌的今天,数据库作为信息系统的基石与核心,承载着国家信息安全与发展的重要使命。25岁的人大金仓正处于最充满挑战、最敢于拼搏、最激动人心的历史时刻,人大金仓往后的新10年、新25年、新百年将会有更多的挑战和精彩上演!风华茂,勇向前!站在新的历史起点上,人大金仓将继续坚守使命与信念,坚持自主创新之路,继续加大研发投入力度,不断提升产品技术水平和服务质量,积极拓展市场渠道和繁荣产业生态,努力打造具有国际竞争力的数据库品牌,不断推动国产数据库事业的进步。

  • 净利润超25亿!长安汽车今年上半年累计销量13.34051万辆

    快科技7月11日消息,重庆长安汽车股份有限公司发布了2024年上半年度业绩预告,预计净利润在25亿至32亿元之间,较去年同期下降58.19%至67.33%。业绩下滑的主要原因是2023年第一季度并购深蓝汽车科技有限公司所产生的非经常性损益50.2亿元,导致原持有股权按公允价值重新计量。尽管如此,长安汽车在2024年第二季度预计实现净利润13.4亿至20.4亿元,实现同环比增长。这一增长得益于公司品牌提升、产品结构优化以及自主品牌盈利能力的稳定,同时合资业务盈利能力也在逐步改善。上半年,长安汽车累计销量达到1334051辆,同比增长9.74%。其中,?

  • 共建行业相关标准体系,云测数据助力AI数据高质量发展

    大模型时代到来,AIGC众多垂直场景落地,以及通用智能、具身智能等前沿领域探索,与高质量、专业化的场景数据密不可分。作为AI认识世界的起点,数据标注本质上是将现实世界信息结构化、数字化,充分发挥数据信息的价值。在助力AI数据标准化体系建设进程中,云测数据将成熟的技术、服务等经验总结,先后参与编制了《智能网联汽车激光雷达点云数据标注要求及方法》、《智能网联汽车场景数据图像标注要求与方法》、《人工智能研发运营一体化能力成熟度模型第一部分:开发管理》、《人工智能研发运营一体化能力成熟度模型第二部分:模型交付》、《面向人工智能的数据交付服务能力成熟度模型》、《人工智能数据集质量管理能力评估方法》等产业相关标准,助力人工智能数据服务在落地领域规范化发展,这也彰显了云测数据在人工智能数据方面的领先实践。

  • 人大金仓携手中国一汽引领国产数据库行业新浪潮

    在国产化政策的推动下,人大金仓携手中国一汽联合开发更贴近汽车产业特定需求的数据库功能和组件。从2023年2月至今,人大金仓已累计部署690套数据库,适配应用系统170个,支撑中国一汽20多个核心系统和重要系统。人大金仓将继续走学科自主开创、产品自主研发、人才自主培养之路,携手更多伙伴,通过自主创新和技术积累,加速推动各行业自主创新升级与国产化场景落地,为数字中国建设贡献更多力量。

  • 为何不加入华为鸿蒙智行 长安董事长:做汽车一定要有自己品牌

    众所周知,华为目前和车厂合作主要采取三种模式,一种是非常简单的零部件,另一种则是华为Hi,在这种模式下,华为会提供智能座舱和智能驾驶,并不会介入车辆的设计、生产和销售。最高级别的则是鸿蒙智行,此种模式下,华为会深入到车辆的设计、生产、销售、售后等各各个阶段,除了自己不造车,几乎把车厂的活儿都干了。值得一提的是,除了阿维塔之外,华为Hi模式也将迎来新的玩家,目前已有岚图汽车、猛士科技、广汽传祺、深蓝汽车等和华为签署了合作协议,预计都是Hi模式或者类似的合作方式。

  • AI Web Designer:智能网站设计,一键生成个性化网页。

    AI Web Designer是一个利用人工智能技术帮助用户快速生成个性化网站设计的在线平台。它通过用户输入的网站领域信息,自动生成设计草案,用户可以自由编辑和导出设计,甚至可以将其白标为自有产品。平台支持导出到Figma和获取原始HTML代码,为设计师和开发者提供了极大的便利。

  • TCAN:使用扩散模型实现时间一致性的人像动画

    TCAN是一种基于扩散模型的新型人像动画框架,它能够保持时间一致性并很好地泛化到未见过的领域。该框架通过特有的模块,如外观-姿态自适应层(APPA层)、时间控制网络和姿态驱动的温度图,来确保生成的视频既保持源图像的外观,又遵循驱动视频的姿态,同时保持背景的一致性。

  • MAVIS:数学视觉指令调优模型

    MAVIS是一个针对多模态大型语言模型(MLLMs)的数学视觉指令调优模型,主要通过改进视觉编码数学图表、图表-语言对齐和数学推理技能来增强MLLMs在视觉数学问题解决方面的能力。该模型包括两个新策划的数据集、一个数学视觉编码器和数学MLLM,通过三阶段训练范式在MathVerse基准测试中取得领先性能。

  • H2O-Danube2-1.8B:开源小型语言模型,适用于企业级应用

    H2O-Danube2-1.8B是H2O.ai最新发布的开源小型语言模型,专为离线应用和企业级应用设计,具有经济高效的接口和训练成本,易于嵌入到移动电话、无人机等边缘设备中。该模型在Hugging Face Open LLM Leaderboard的<2B范围内排名第一,提供高达200倍的查询成本节省,同时在文档处理上提供更好的准确性,成本降低高达100%。H2O.ai平台还提供了成本控制和灵活性,支持超过30种大型语言模型(Large Language Models, LLMs)的混合使用,包括专有和开源的LLMs。

  • BlitzToksAi:AI驱动的TikTok视频生成器,快速、简单、震撼。

    BlitzToksAi是一个利用先进AI技术的视频生成器,能够将用户的想法轻松转化为吸引人、高质量的TikTok视频。它简化了视频创作流程,无需昂贵的视频编辑工具,节省时间并增强社交媒体影响力。用户只需点击一下即可生成视频,无需视频编辑技能,AI负责所有技术细节,让用户专注于内容和创意。

  • AI Image Extender:AI技术扩展图像边界,创造无限可能

    AI Image Extender是一款利用人工智能技术扩展图像边界的在线工具。它允许用户通过点击和拖动操作来扩大图像的背景,调整图像的长宽比,甚至在图像边缘创造新的视觉效果。这项技术的重要性在于它能够帮助设计师和摄影师在不损失图像质量的前提下,轻松实现图像的尺寸调整和视觉效果增强,为创意工作提供了极大的便利。

  • Claude Dev:智能代码助手,提升开发效率

    Claude Dev是一款VSCode扩展,利用Anthropic的Claude 3.5 Sonnet的代理编码能力,可以逐步处理复杂的软件开发任务。它不仅支持文件读写、创建项目和执行终端命令(在获得用户许可后),还提供了一个直观的GUI,使用户能够安全且容易地探索代理AI的潜力。

  • H2O Danube3:文本生成领域的先进模型

    H2O Danube3 是由 h2oai 公司开发的一系列文本生成模型,这些模型专注于提供高质量的文本生成服务,广泛应用于聊天机器人、内容创作等领域。它们具备强大的语言理解和生成能力,能够根据给定的上下文生成连贯、准确的文本。

  • exo:在家使用日常设备搭建自己的AI集群。

    exo是一个实验性的软件项目,旨在利用家中的现有设备,如iPhone、iPad、Android、Mac、Linux等,统一成一个强大的GPU来运行AI模型。它支持多种流行的模型,如LLaMA,并具有动态模型分割功能,能够根据当前网络拓扑和设备资源来最优地分割模型。此外,exo还提供了与ChatGPT兼容的API,使得在应用程序中使用exo运行模型仅需一行代码的更改。

  • StreamVC:实时低延迟语音转换技术

    StreamVC是由Google研发的实时低延迟语音转换解决方案,能够在保持源语音内容和韵律的同时,匹配目标语音的音色。该技术特别适合实时通信场景,如电话和视频会议,并且可用于语音匿名化等用例。StreamVC利用SoundStream神经音频编解码器的架构和训练策略,实现轻量级高质量的语音合成。它还展示了学习软语音单元的因果性以及提供白化基频信息以提高音高稳定性而不泄露源音色信息的有效性。

  • H2O AI Personal GPT:智能AI助手,本地处理数据,保护隐私。

    H2O AI Personal GPT是一款由H2O.ai开发的AI助手应用,旨在提供智能、对话式的AI服务,同时确保用户的隐私安全。该应用在本地处理数据,无需担心数据离开设备,支持无网络环境下使用,适合需要移动办公和隐私保护的用户。

  • GraphAi:链接全球热门科技企业、模型及应用

    GraphAi智能工具图谱是一个综合性的网络平台,旨在链接全球热门的科技企业、模型及应用。它通过构建图谱的方式,帮助用户探索和学习人工智能领域的最新动态和产品信息。该平台不仅涵盖了国内外众多知名企业的AI产品,还提供了丰富的行业资讯和学习资源,是技术爱好者和专业人士了解AI发展的重要渠道。

  • PNG Maker:在线免费将文本转换为带透明背景的PNG图片

    PNG Maker是一个创新的在线工具,利用AI技术将文本转换为PNG图片,特别适合网页设计师、市场营销人员和内容创作者。它提供了高级的文本到PNG的转换能力,用户可以轻松地自定义字体、大小和颜色,确保专业和视觉上吸引人的结果。

  • Phaie AI:设计系统管理与自动化插件

    Phaie AI 是一个专为设计系统内部工作设计的插件,旨在帮助识别和重命名现有设计系统中的样式。它允许设计师和设计团队节省时间,通过一键操作管理颜色、排版等设计元素,创建和更新设计系统。插件背景信息包括对内部设计系统工作的深入理解,以及Beta用户的高度成功反馈。

  • Easel AI:创意表达,一键分享给朋友

    Easel AI是一款设计类应用,专注于帮助用户通过简单的操作表达自己的风格,并快速分享给朋友。它可能利用人工智能技术简化设计流程,让用户即使没有专业设计背景也能轻松创作出个性化的作品。

  • 社交媒体图片生成器:智能设计,一键生成社交媒体图片封面

    社交媒体图片生成器是uBrand品牌创意工作室推出的一款在线设计工具,它能够帮助用户快速生成适合社交媒体的图片封面。该工具利用人工智能技术,简化了设计流程,提高了设计效率,使得即使是设计新手也能轻松制作出专业水准的图片。

  • Faceindex:互联网人脸搜索工具

    Faceindex是一个利用AI技术进行人脸搜索的网站,能够扫描互联网上的照片,提供详细的搜索结果和链接。它在安全、隐私保护和用户反馈方面表现良好,是背景调查和身份验证的有力工具。

  • CalmJobs:寻找平衡工作与生活的职位

    CalmJobs是一个AI驱动的职位聚合平台,专注于提供那些重视工作生活平衡的公司职位。它帮助求职者找到既能在专业上发展也能在个人生活中保持平静和平衡的工作机会。

  • AI Presentation Maker:智能在线演示文稿制作工具

    AI Presentation Maker是一个利用人工智能技术,将文本内容快速转化为结构化、视觉吸引的幻灯片的在线工具。它通过先进的算法自动创建专业幻灯片,提供多语言支持,确保全球用户都能制作出语言和文化上合适的演示文稿。该工具的主要优点包括免费在线访问、文本到演示文稿的转换、自动化幻灯片创建、可定制的设计模板、快速演示文稿生成等。

  • Nimble:智能网页数据抓取平台

    Nimble是一个为AI和BI应用提供数据的现代数据平台,通过其企业级的数据管道,提供准确、实时的网页数据。它拥有无与伦比的数据质量和准确性,完全由AI浏览器技术管理,具有全面的治理和信任度,是领先数据团队信赖的选择。

今日大家都在搜的词:

热文

  • 3 天
  • 7天