首页 > 传媒 > 关键词  > 时序数据库最新资讯  > 正文

吃下 GuanceDB 狗粮后,观测云查询性能提升超 30 倍!

2023-05-08 13:39 · 稿源: 站长之家用户

本文作者:观测云资 深系统开发工程师 熊豹

2023 年 4 月 23 日,观测云正式发布自研时序数据库 GuanceDB,并在当天应用到了观测云所有 SaaS 节点的底座。此次升级性能提升的效果立竿见影,对比之前使用 InfluxDB 的环境资源占用大幅降低、查询性能显著提升,我们成功地吃上了自己的狗粮。

我们也深知 talk is cheap show me the benchmark 的道理,这里发布我们在近期完成的 GuanceDB 性能压测报告。

压测方案说明

本次测试的目标是对比 GuanceDB、InfluxDB 和某知名开源时序数据库(简称 xxDB)在相同的写入负载和查询条件下的性能表现及资源占用情况。

关于测试工具:

我们对比 tsbs、prometheus-benchmark 两种时序数据库的压测方案。

其中 prometheus-benchmark 构造了更偏真实环境的持续写入负载,指标数值的变化也更真实,所以我们主要参考 prometheus-benchmark 来构造本次测试。

原 prometheus-benchmark 方案中使用了 vmagent 来抓取和写入指标,但我们今天测试的 3 种数据库对 Prometheus 写入协议支持力度不一,没法一起比较。所以我们对 vmagent 进行了一些改造,让其支持了 InfluxDB 的行写入协议。

本次测试的最终方案如下:

1.部署的一个单机的 node-exporter ,其暴露宿主机的 1383 个真实指标

2.部署 Nginx 反代并缓存 node-exporter 结果 1s,降低频繁请求的压力

3.调整 agent 的抓取配置,模拟生成不同的 node-exporter 实例数以生成不同的写入负载

4.agent 以相同的请求大小、频率将数据同时以 influx 协议 http 接口写入三种时序数据库

软件版本:

1.GuanceDB: v1.0.0

2.InfluxDB: v1.8.10

3.xxDB

主机配置:

1.压测机:1 台阿里云 ecs.g7.16xlarge 云主机:64 core,128 GB RAM

2.存储集群:3 台阿里云 ecs.g7.4xlarge 云主机:16 core,64 GB RAM,200 GB PL1 类型 ESSD

部署方式:

因为 InfluxDB 的开源版本不支持集群模式,所以我们也将分两组进行测试。一组是 InfluxDB 与 GuanceDB、xxDB 的单机版本对比,另一组是 GuanceDB 与 xxDB 的集群模式进行对比,集群模式都使用 3 个存储节点。

参数优化:

GuanceDB 对大部分场景都做了自动调优,所以我们不用手动调整配置。

InfluxDB 默认对高基数场景做了一些保护,我们调整 max-series-per-database = 0 放开了限制,cache-max-memory-size 增大到了 10g,并且开启 tsi1 索引。

xxDB 我们也参考文档进行了针对性的调优。

至此完成所有配置,开始测试。

写入测试

●单机组

本组测试进行的测试轮次比较多,这里我们挑选某一轮展示详细监控截图。

在此轮测试中,我们虚拟了 344 个 node-exporter 实例,生成大约 50w 条活跃时间线,5s 抓取一次,时序点写入 QPS 10w。

GuanceDB 资源开销:CPU 占用率 2%,内存占用约 3 GB。

InfluxDB 资源开销:CPU 占用率 16%,内存占用约 7.4 GB。

xxDB 资源开销:CPU 占用率 61%,内存占用 9 GB。

汇总结果表格如下:

完成了限定性能的测试场景后,我们很好奇要多大的压力才能将各台数据库主机的资源打满,尤其对 GuanceDB,响应 10w 写入 QPS 仅仅花费了 2% 的 CPU 开销,它的性能上限在哪里?随即我们开始加大 QPS,当各台主机的 CPU,内存和磁盘若有一项被打满时,即被认为到达瓶颈。

实际测试结果都是主机的 CPU 先被打满,此时内存占用和磁盘写入带宽都还有余量,所以我们就以 CPU 利用率为瓶颈指标画出以下对比图:

在单机场景下,当 CPU 达到满载时,xxDB 的写入 QPS 约 15w,InfluxDB 约 90w,GuanceDB 约 270w。本轮 GuanceDB 获得第 一,写入性能是 InfluxDB 的 3 倍。也可以看到在 CPU 利用率超过 20% 后,性能不再呈线性增长,都有一定程度衰退。

●集群组

我们按照之前的方法继续测试 3 节点集群:

在集群场景下,仍然是 CPU 利用率先达到瓶颈。同样在 CPU 满载情况下,GuanceDB 此时的写入 QPS 约为 860w,xxDB 约为 45w。

对比之前 GuanceDB 和 xxDB 的单机写入性能测试,理想情况下 N 个节点的集群版的写入性能应该是单机版的 N 倍,呈线性增长,实测 3 节点集群符合性能预期。

查询测试

查询测试将混合单机 InfluxDB、集群版 GuanceDB、集群版 xxDB 一起进行。集群一般可以将数据和查询分摊并可以在节点之间并行查询,理论上这个测试方式对 InfluxDB 不太公平,但条件受限,暂且这么设计。

我们虚拟 688 个 node-exporter 实例,生成大约 100w 个活跃时间线,5s 抓取一次,时序点写入 QPS 20w。在持续写入 24 小时后,我们再测试一些常见语句的查询性能和对比存储空间占用。

GuanceDB 同时支持 DQL 和 PromQL 两种查询语法。DQL 是观测云自研的多模数据查询语言,同时支持指标、日志、对象等多种类型负载数据的查询和分析,语法表达非常简洁。语法设计上跟 SQL 接近,但更加适应时序分析场景,学习曲线平滑。

这里我们一共对比了四种查询语法在相同语义的 1h、8h、24h 不同时间范围下的响应时间:

查询 1 响应时间:

注:图示中 0ms 表示响应时间不到 1ms。

查询 2 响应时间:

查询 3 响应时间:

注:图示中 -1ms 表示请求响应时间超过了 60s 不计数。

空间占用对比

在上述的查询测试构造的写入压力(活跃时间线 100w,时序点写入 QPS 20w)下,运行 24 小时后,我们对比存储空间占用。

总结

经过数轮的写入和查询性能测试,相信各位对 GuanceDB 的综合性能表现已经有了比较清晰的认识了。GuanceDB 对比 InfluxDB 写入性能提升 3 倍,存储空间占用减少 68%,查询性能提升 30 倍以上。GuanceDB 相比 xxDB 提升则更明显,背后的原因是 xxDB 虽然明面上是支持了 Schemaless 数据的写入,但是对 Schemaless 的场景明显优化不足,所以表现欠佳。

GuanceDB 的优异性能来自于我们构建的有效的火山模型查询引擎、SIMD 指令加速、对 Schemaless 数据的最 优先支持等,也因为我们站在了 VictoriaMetrics 的肩膀上。非常感谢 VictoriaMetrics 开源社区对我们的支持,我们将持续贡献回报社区,共同促进可观测领域技术的发展与进步。

我们在 5 月中下旬也将发布 GuanceDB 的单机版本,欢迎大家到时关注和测试。如有同学对 GuanceDB 感兴趣,或有任何疑问,可以随时站内和我联络,或者在观测云社群里沟通。

推广

特别声明:以上内容(如有图片或视频亦包括在内)均为站长传媒平台用户上传并发布,本平台仅提供信息存储服务,对本页面内容所引致的错误、不确或遗漏,概不负任何法律责任,相关信息仅供参考。站长之家将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。任何单位或个人认为本页面内容可能涉嫌侵犯其知识产权或存在不实内容时,可及时向站长之家提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明(点击查看反馈联系地址)。本网站在收到上述法律文件后,将会依法依规核实信息,沟通删除相关内容或断开相关链接。

  • 相关推荐
  • 中国信通院向观测云发来感谢信!

    值此蛇年新春佳节之际,观测云收到了一封来自中国信息通信研究院(以下简称“中国信通院”)的感谢信,信中高度肯定了观测云在云服务运行安全与可观测性领域的卓越贡献,并感谢观测云在“稳定性保障实验室”等相关工作中的积极参与和支持。对此,观测云深感荣幸,并向研究院及各位专家表达诚挚的感谢与祝福!作为国内备受认可的可观测性云平台,观测云一直致�

  • NVIDIA RTX 5080原生游戏性能提升仅15%!RTX 5090提升最大为30%

    NVIDIA进一步公开了更多RTX50系列显卡的规格和性能指标。RTX5090作为系列中的顶级型号,其着色/光线追踪/Tensor性能分别较前代RTX4090提升了26.5%、66.5%和154%。值得注意的是,当开启DLSS4后,得益于多帧生成技术的加持,RTX50系列的性能表现大致可达前代同级的2倍,这也是黄仁勋在发布会上宣称RTX5070表现可达RTX4090的主要原因。

  • B站蛇年春晚直播观看人数超1亿!30岁以下观众八成

    快科技1月29日消息,B站是央视蛇年春晚独家弹幕视频合作平台,今日已经公布了除夕当晚的相关数据。除夕当晚,B站春晚直播间观看人数创历史新高,超1亿人,其中30岁以下观众占比为83%。直播弹幕数超过1.2亿,B站定制化的春晚答题互动,超过1000万用户参与。直播当晚,《秧BOT》《春意红包》《喜上枝头》三个节目,舞台表演融合未来科技、非遗文化、宋画艺术等,成为了当晚用户评论互动前三的节目。其中,歌舞节目《春意红包》尤其受到年轻观众好评。该节目源自于B站2017年拜年纪的经典曲目,由UP主创作并演唱,描绘了中国传统春节的过年习?

  • 阿里巴巴AI实力获苹果钟爱 年内股票累涨30%

    昨日晚间,据一位直接知情人士透露,苹果正在与阿里巴巴合作,为中国的iPhone用户开发并推出人工智能功能。知情人士指出,此举是苹果应对在中国销售下滑的策略之一,旨在提供更具吸引力的软件功能。考虑到公司淘宝天猫主业基本面的逐步好转、AI领域的领先实力以及强劲的股东回报,中信证券对阿里巴巴中长期股价表现保持乐观。

  • 比亚迪1月销量30万辆稳居销冠:出口暴涨83.4%

    在刚刚过去的1月份,比亚迪凭借300538辆的销量,再次稳坐中国品牌汽车市场销冠宝座,进一步巩固了其在新能源汽车市场的统治力。在1月的销售数据中,王朝、海洋系列无疑是中流砥柱,共售出278221辆,同比增长50.3%。1月比亚迪乘用车海外销售66336辆,同比大涨83.4%,成为了比亚迪集团增速最为强势的板块随着比亚迪在海外市场的持续发力,海外市场有望成为比亚迪在2025年新的销量增长点。

  • 转卖黄子韬送车帖30条 宝骏汽车回应:全是假的

    宝骏汽车针对近期网络上关于黄子韬直播间送出宝骏云海车辆的言论进行了正式声明。针对直播福袋中奖名单公示的20位中奖粉丝,公司官方已经逐一核实了他们的身份,并为每位中奖者建立了专属的提车对接通道。部分商家通过设置低价吸引消费者进入其主页浏览,从达到引流的目的。

  • 材料设计重大突破!微软发布创新大模型,准确率提升10

    微软发布了专用于无机材料设计的创新大模型——MatterGen。MatterGen的基础架构是基于扩散模型,能逐步优化原子类型、坐标及周期晶格,从快速生成不同类型的新型无机材料。可以比肩谷歌在去年获得诺贝尔化学奖的蛋白质预测模型AlphaFold系列。

  • NVIDIA RTX 5090 Vulkan/OpenCL性能首曝!比RTX 4090提升37%

    NVIDIA最新的GeForceRTX5090显卡的GeekbenchOpenCL和VulkanAPI测试成绩首次曝光。根据最新的测试结果,RTX5090在Vulkan测试中的得分达359742分,相比RTX4090提升了37%,最低得分也达到了331525分,意味着其性能至少比RTX4090快26%。且需要注意的是,测试环境中的CPU和内存配置可能并非最佳,这意味着RTX5090的实际性能还有进一步提升的空间。

  • 火星冲日自今日起迎最佳观测时机 错过再等十年

    今日,火星迎来了冲日现象。在冲日前后的一个月内,均为观测火星的绝佳时机,天文爱好者们不妨尝试在天空中寻找这颗略带红色的行星。以本次为例,火星距离地球最近的时间实际上是在1月12日,但与冲日时的距离相差无几,因此对于观测者来说,并无明显区别。

  • 曝一加首发联发科天玑9350:性能比天玑9300+更强

    博主数码闲聊站爆料,一加今年的产品线迎来大爆发,4月前后推出一加13T,5月前后推出一加Ace5s和Ace5V,10月前后推出一加14,年底推出一加Ace6系列。其中5月前后登场的一加Ace系列新品将首发搭载联发科天玑9350芯片,它将对标同期亮相的高通骁龙8s至尊版处理器。作为升级版,天玑9350的CPU主频可能会突破3.4GHz这颗芯片的基础配置应该也是44的架构方案,性能表现值得期待。

热文

  • 3 天
  • 7天