首页 > 传媒 > 关键词  > 汽车最新资讯  > 正文

长安汽车使用 IoTDB 构建 1.5 亿时间序列车况数据处理方案,查询稳定实现毫秒级返回

2023-04-04 11:39 · 稿源: 站长之家用户

本文采访自:长安汽车

1. 长安汽车业务场景

重庆长安汽车股份有限公司是中国汽车四大集团阵营企业,是一家开发、制造、销售全系列乘用车和商用车的汽车公司,其主要产品有全系列乘用车、小型商用车、轻型卡车、微型面包车和大中型客车,全系列发动机等。长安汽车始终以“引领汽车文明,造福人类生活”为使命,以客户为中心,以产品为主线,持续提供高品质的产品和服务,奋力推进第三次创业——创新创业计划,向智能低碳出行科技公司转型,为实现世界知名汽车企业努力奋斗。

目前,数字化技术对于汽车进行了深度的重构,汽车从一个配备电子功能的机械产品逐渐演变为一个配备机械功能的电子产品,云数据及 AI 技术的融合逐渐将汽车变为一个大型的智能移动终端、数据采集载体、能源储能单元和一个移动的多功能空间。总的来说现在的智能汽车已经逐渐转变为一个具备多功能空间的轮式移动机器人。在这样的背景下,国家政策大力鼓励发展智能化汽车和自动驾驶的产学研带动,国内头部和新势力主机厂也逐渐将智能网联车或自动驾驶方向作为核心业务开展。

长安汽车着力发展智能化汽车方向,应用全景包括智能车控(远程控制分析)、智能座舱(车机埋点、车机用户行为分析)、IoT 数据接入(准入检测、车机激活监控)和 IoT 的车况管理(车况监控、动力研究、车联网大屏),实现业务展现包括慧眼系统、车辆远程诊断和远程预警系统、远程调试系统等。

为实现智能化汽车建设,长安汽车构建了长安智能汽车数据平台,此大数据处理平台一共分为五层:数据接入层、数据存储层、资源调度层、计算引擎层、业务展现层。目前 IoTDB 主要用于数据存储层,以应对车联网海量时序数据的管理。

实现智能化汽车方向的工业场景涉及到车辆设备和传感器层大量的时序数据采集,这就对于时序数据解决方案的完善性和效率提出了巨大挑战。长安汽车目前的时序数据解决方案存在明显局限性,因此希望寻求对于智能化汽车领域的时序数据更优的写入、存储、查询、分析方案。

基于 IoTDB 时序数据库的特点和优势,长安汽车选择使用 IoTDB 作为海量智能网联车辆的车况时序数据处理方案,实现了大体量数据写入与存储灵活扩容,并有效提高查询性能,降低设备与运维成本。

2. 业务需求痛点

2.1亿级数据测点,每秒超千万条新增数据点

长安汽车作为中国四大汽车集团之一,业务体量庞大,需处理车辆多、数据量大。目前长安汽车的网联车海量车况时序数据管理系统共采集网约车约 57 万辆,总计数据测点达到 1.5 亿,数据点每秒新增超千万。因此,长安汽车对于此数据量下时序数据库的实时写入、压缩与存储能力均要求较高。

2.2 高速信号采集频率高

长安汽车的车辆采集信号分为高速信号和常规信号两种。高速信号需达成毫秒级采集,常规信号 3-4 秒级采集。长安汽车的时序数据解决方案需能够同时支持此两类不同的采集频次,并保证高速信号的实时低延迟采集的持续运行。

2.3 低延迟数据查询

长安汽车的车辆数据查询场景主要包括单车多时间序列的有效查询和单车全时间序列的最 新点的查询,也就是车联网场景中很经典的实时车况和离线车况/历史车况的查询场景。长安汽车的时序数据解决方案需在低延迟的情况下有效支持即时的实时查询,与大体量已存储的历史数据查询。

基于之前长安汽车的时序数据解决方案,一份车况数据进入 HBase 后如果要做分析,需要从 HBase 里把增量的数据完全卸载出来,而这个批量的范围读取过程耗时很长。例如 HBase 如果要做昨天数据的离线处理,今天凌晨就需要把操作性数据卸载出来放入 Hadoop 做分析。另外,随着业务量增大,使用 HBase 进行批量读取的耗时也越来越长,不适应快速扩张的数据量场景。

2.4 成本、维护难度高

长安汽车最开始对时序数据管理的解决方案采用 HBase,但面对每秒千万的数据测点,HBase 的集群数据写入用了 25 个数据节点承担,如此多的数据节点直接导致系统的维护难度和成本较高。

3. 选型IoTDB原因

3.1 数据结构保证高扩展性、低成本、高稳定性

针对长安汽车庞大的已有数据体量及新增数据体量处理需求,IoTDB 专属的物联网原生时序模型以设备、测点/传感器为层级存储时间序列数据,随着数据量的不断增加,只需直接扩展查询节点的硬件设备,无需中断系统的正常运行,可达成秒级扩容,有效降低管理与运维成本。

3.2 实现千万写入速度

针对长安汽车对于时序数据频密写入的需求,IoTDB 能够实现每秒千万数据点写入、处理多设备亿级点位的能力,且写入速率不随数据量增长而下降,维持稳定高速水平。

3.3 支持有效明细、最 新值查询

长安汽车在车辆故障报警场景下,会使用 IoTDB 进行海量网联车车况数据的明细查询。IoTDB 采用从根节点以下,以数据点自带的时间戳,与多层级存储的路径结合的存储架构,使得不同维度的时序数据可以被有效分类存储,继而在查询时可较快唯 一确定 IoTDB 中的时序数据,从而在使用明细查询的情况下,依然保持查询有效率。

3.4 提升批量读取速率,达成实时分析

针对长安汽车在数据分析前对于数据的快速批量读取需求,IoTDB 因存在时间索引,可直接同步 IoTDB 底层数据文件,并运用 IoTDB 与其他大数据系统的无缝集成,用 Spark 引擎直接对存储文件 TsFile 进行实时分析,相比原先的方案减少分析数据所需的导出份数,提高分析计算效率。

3.5 及时运维,积极验证

长安汽车项目方认为,当业务场景给时序数据解决方案带来新的挑战时,处理问题的效率和思路是很重要的,一个优 秀的时序数据解决方案背后的团队需要能够快速解决问题,使数据库涵盖业务场景所需的性能提升与丰富功能。长安汽车在生产环境上遇到的问题,IoTDB 的研发团队总会很快协调到相关的研发资源进行帮助。作为汇集了一批数据库核心技术专家和工业资 深专家、拥有十几年研究和服务工业用户的经验的团队,团队成员也特别愿意用 IoTDB 在工业互联网场景去做生态环境的验证,使得项目的成功与产品的成熟可以实现互利共赢。长安汽车项目方表示了对 IoTDB 开发团队的感谢。

可以看到,IoTDB 的技术优势能够有效的解决长安汽车目前管理时序数据的业务痛点,因此长安汽车选择 IoTDB 构建长安智能汽车数据平台的数据存储层。下面就长安汽车基于 IoTDB 构建的大规模时序数据管理的解决方案架构、时序模型结构设置与查询性能效果展开介绍与分析。

4. 解决方案架构

车联网是一个典型的物联网场景。物联网场景的数据主体是时序数据,整个时序数据的生命周期分为采集、缓存、处理、存储、查询分析和可视化应用六大阶段。

在长安汽车车联网场景中,使用 Tbox 和 THU 等设备和传感器做车联网数据(例如发动机的电喷数据、转速、车辆的车速等)的采集。数据上云之后,基于长安汽车私有的 TCP 协议和基于 Netty 编写的网关进行报文的摄取。通过 CLB 进入 K8s 的 TU-GW 应用后,对报文进行解析。报文解析后发送到消息队列,并把不同业务所需要的时序消息分发到不同的存储端上。写入至存储引擎后,长安汽车 TSP 业务系统和 APP 将针对车辆的最 新数据和历史车况,对时序数据进行查询操作。

目前长安汽车的大规模时序数据管理的架构,分为 1.0 和 2.0 版本。1.0 版本针对车况场景主要使用的时序存储引擎为 HBase,实现历史车况数据写入。因历史数据体量庞大,需 25 个 HBase 数据节点写入集群数据。同时,1.0 版本的 HBase 集群配置 10 个 Region Server。由于 HBase 的存储架构无法独立支持最 新车况查询,最 新车况查询需基于 Redis 实现。

2.0 版本的架构采用通过 Kafka 将数据写入 IoTDB 的架构。测试场景采用单机高 IO 的机型,即大内存(约 384 G)+全 SSD(约 50 T)的集群配置。经过 IoTDB 良好的数据 schema 设计后,一台 IoTDB 的机器即代替了 25 个 HBase 节点的写入功能,并成功维持超过一年的高稳定度。目前测试数据体量约 150 万条数据/秒,一条时序数据平均涉及 16-17 个测点,稳定支持整体写入数据体量约万级。

同时,IoTDB 的强大数据查询能力,使基于 IoTDB 的 2.0 版本实现了一套引擎支持单车时间范围查询(实时查询)和单车全时间序列最 新点的查询(最 新车况查询)场景,并能稳定达成两种查询类型结果的毫秒级返回。

写入与查询能力的提升,让基于 IoTDB 的时序数据管理架构大幅降低了原有 HBase+Redis 方案的复杂度,并使 IoTDB 可接入设备和数据的体量得以不断增加。目前,长安汽车使用 IoTDB 单机接入设备约 57 万,托管时间序列约1. 5 亿。

5. 时序模型和查询应用

目前,在 IoTDB 的根节点、业务名称、设备层、传感器层的四级节点时序模型设计上,长安汽车的设备层采用 TBOX 的 TUID,即设备 ID 作为第三级节点;在传感器/测点层,除涵盖信号名,使用下划线连接 CANID 作为第四级节点。此存储结构的设计原因是可以方便的使用 IoTDB 支持的 select last * from root.CANID 命令查询,以便查询单车在某 CANID 下所有的数据值,进而让 IoTDB 同时实现长安汽车的主要查询场景:实时车况和历史车况的组合查询。

在这样的数据结构支持下,长安汽车使用如下语句运行常用查询场景:

1.单设备的时间范围查询

SQL语句如下:

select CANID_SIGNAL from root.can_condition.tuid where time > t1 and time 6. 未来展望

自 2020 年,长安汽车与 IoTDB 已稳定合作 2 年,并已构建了稳定有效的智能网联车辆远程监控系统。因智能网联汽车业务已处于爆发初期,可预见车联网场景的采集车辆数及车辆的采集密度在未来会大幅扩张,时序数据量也会呈指数级增长,大源数据依然是车联网系统将面对的主要难题。

`未来,长安汽车与 IoTDB 将通力合作,进一步扩大车辆数据接入体量的同时,丰富 IoTDB 在车联网场景的相关应用和功能,实现对更多车联网业务时序数据的有效管理。

推广

特别声明:以上内容(如有图片或视频亦包括在内)均为站长传媒平台用户上传并发布,本平台仅提供信息存储服务,对本页面内容所引致的错误、不确或遗漏,概不负任何法律责任,相关信息仅供参考。站长之家将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。任何单位或个人认为本页面内容可能涉嫌侵犯其知识产权或存在不实内容时,可及时向站长之家提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明(点击查看反馈联系地址)。本网站在收到上述法律文件后,将会依法依规核实信息,沟通删除相关内容或断开相关链接。

  • 相关推荐
  • 大家在看
  • Apache IoTDB 入选国家规划教材《数据库系统概论(第6版)》

    ApacheIoTDB作为原生时序数据库管理系统典型代表,入选“十二五”普通高等教育本科国家级规划教材《数据库系统概论》!《数据库系统概论》自1983年出版第一版至今,40年间始终紧跟数据库技术发展,不断与时俱进,保持了科学性、先进性与实用性,得到广大读者的认可与肯定,为全国数百所高校所采用,并三次荣获国家/教育部优秀教材奖。本书作者团队以教材为蓝本建设的相应课程先后入选北京市精品课程、国家级精品课程、国家级一流本科课程等。IoTDB将继续坚持国产自研路线,依据时序数据的实际特性与使用场景,构建“能用、管用、好用”的时序数据管理系统。

  • 多场景赋能,法大大助力四大汽车集团之一的长安汽车加速数字化

    2023年12月,法大大发布了中国首部《汽车行业合同数智化白皮书》,该白皮书基于法大大自身参与汽车行业合同数智化建设的实践和思考,对汽车行业数字化转型攻坚期的转变进行深刻解读。为拓展企业数字化管理路径,优化汽车行业合同管理方式,法大大将结合市场洞察,陆续呈现业内知名企业的实践案例,以期为更多企业打通数字化最后一公里提供系统、全面的可行性参考。签章中台灵活支持业务系统对接及应用场景扩展,无需重新部署,提升部署效率。

  • 长安汽车与阿里云研发汽车垂域大模型:全球首款量产可变新汽车搭载

    从阿里云AI智领者峰会上获悉,长安汽车将多方位接入阿里云通义大模型。基于阿里云通义大模型和百炼平台,长安汽车正在结合汽车通用文本语料和业务语料,以座舱交互为应用核心,研发汽车垂域大模型。自主品牌新能源全年销售同比增长74.8%,出口同比增长43.9%。

  • 净赚113亿长安汽车公布2023全年财报:新能源占比近1/5

    日前,长安汽车发布2023年财报。该公司实现汽车销量255.3万辆,同比增长8.8%;实现营收1512.98亿元,同比增长24.78%;净利润113.27亿元,同比增长45.25%。2024年将在东南亚市场导入阿维塔11、长安Lumin、CD701等7款以上新能源产品,建设530个渠道触电。

  • 魏建军后又一车企董事长亲下场:长安汽车朱华荣试小米SU7

    快科技4月22日消息,长安汽车董事长朱华荣今日发布了试驾小米SU7的感受,其写道:愿意押上一生的荣誉和成就,为小米汽车而战”,雷军总打造的SU7到底如何?在视频里,朱华荣分别试了小米SU7和自家的阿维塔12,由于驾驶里程有限,所以(小米SU7)很多功能没来得及体验,比如自动驾驶。朱华荣称,(小米SU7)总体感觉很不错,动力性很棒,颜值高配置多,NVH底盘匹配也不错,这对于一个初创公司的第一辆汽车是非常成功的。同时他还回应和阿维塔12对比如何,朱华荣表示,小米SU7和阿维塔12市场定位不同,共同点是都能很好地把细分市场用户需求

  • 长安汽车朱华荣:自研半固态电池2026年年底上市!

    在今天的长安汽车2023年业绩说明会上,长安汽车董事长朱华荣表示,集团研发的半固体电池将于2026年年底上市。在2023年12月,长安汽车声称正在深耕半固态、固态电池的全新电解质材料开发、关键工艺开发,基于整车需求,正向开发领先的固态电池,从2025年开始逐步量产应用。长安汽车目前已组建先进电池研究院,拥有电池研发人员1200余人,其中包括高级专家、顶尖学术人才125人,未来将投入100亿元资金,到2024年电池团队达到3000人。

  • 全年销量破255万辆!长安汽车2023年净赚113.27亿

    快科技4月17日消息,长安汽车今日发布2023年年度报告。数据显示,长安汽车2023年营业收入1512.98亿元,同比增长24.78%;归母净利润113.27亿元,同比增长45.25%。销量方面,长安汽车2023年销售超255万辆,自主品牌新能源汽车销量超过47万台,自主品牌海外销量超过了23万台,均创历史新高。对于2024年的销量目标,长安汽车集团决心冲击280万辆,同比增长9.7%。其主要品牌包括长安引力125万辆,长安启源25万辆,深蓝汽车28万辆,阿维塔9万辆,长安凯程23万辆;新能源销量目标75万辆,同比增长55.9%;海外市场销量48万辆,同比增长33.2%。为此

  • WeLab汇立集团获发明专利,加速数据处理能力!

    WeLab汇立集团宣布由其创新研究中心团队研发的“数据对象的鉴权方法、终端及存储介质”获国家知识产权局颁发发明专利证书。该专利通过提供一种数据提取方法、装置、设备及存储介质,目的在于解决现有技术中提取特征指标值时,数据处理速度较慢的技术问题。通过采用这种高效、安全且灵活的数据处理技术,企业将能够在竞争激烈的市场中保持领先地位,为用户提供卓越的服务。

  • 长度超4公里 载重3万吨!我国载重最大货运列车开行

    快科技4月21日消息,据央视新闻报道,我国载重最大货运列车,已于昨日开行。该货运列车,从我国西煤东运”第二大通道朔黄铁路肃宁站出发后,顺利到达黄骅港站。列车由4台中车株机公司与国家能源集团联合研制的国能号”八轴电力机车牵引,总功率38400千瓦。列车编组324辆,总长4088米,总重32400吨,是我国铁路编组最长、载重最大的重载列车。据介绍,此次3万吨重载列车运行试验采用新型无线宽带通信系统LTE-R、牵引网络控制、空气制动、无线同步操控等先进技术。是大功率交流电力机车与重载型货车车辆的生产要素创新搭配,实现了3万吨重载

  • 通义千问开源Qwen1.5-32B 模型系

    通义千问团队最新发布了Qwen1.5-32B模型系列,其中包括Qwen1.5-32B和Qwen1.5-32B-Chat。这些模型在模型架构上与之前的Qwen1.5系列基本相同,但参数量减少至32B,旨在提供更高效、更经济实惠的解决方案。此次发布旨在解决14B模型在智能体场景下能力弱和72B模型推理成本高的问题。

今日大家都在搜的词:

热文

  • 3 天
  • 7天