首页 > 传媒 > 关键词  > 阿里云原生数仓最新资讯  > 正文

AnalyticDB 搭载 AMD 性价比提升30%

2024-05-28 16:10 · 稿源: 站长之家用户

1、概述

阿里云原生数仓 AnalyticDB for PostgreSQL 与 AMD 新一代硬件深度优化,结合全自研计算引擎及行列混合存储实现性能升级,综合性能提升30%。结合丰富的企业级能力帮助企业构建离在线一体、流批一体综合数据分析平台,采用同一引擎即可满足离线批处理、流式加工,交互式分析三种场景,在开发运维、时效性及成本上具备更高的性价比。

2、性能优化路径

2.1硬件架构优化

2.1.1芯片性能提升

AMD 和阿里云联合打造的新一代硬件采用全新 CIPU 架构,处理器采用 AMD EPYC Genoa 处理器,可提供稳定的算力输出、更强劲的I/O引擎以及芯片级安全加固。

第四代 EPYC 较第三代 EPYC 性能提升显著,针对分析型数据库产品痛点在高算力、高内存带宽、低延迟等特点进行优化,可帮助企业用户在数据仓库、在线分析场景中具备更好的性能。

2.1.2计算能效提升

在性能功耗比方面,新一代服务器在相同核心数量下(对比搭载两个64核AMD EPYC9534和两个64核的AMD EPYC7763的服务器)整数性能提升约24%,浮点性提升约52%。可以用更少的服务器来完成同样的工作,或者用同样数量的服务器在相同的时间内完成更多的工作。

2.1.3安全性和隔离性提升

第四代 AMD EPYC 支持安全内存加密(SME)和安全加密虚拟化(SEV),将内存与拥有他的线程相关联,从而帮助击退旁路攻击;增加了SEV中加密上下文的数量,可以容纳更多的安全虚拟机。

通过 AMD 安全加密状态(SEV-ES)帮助保护虚拟机状态不受恶意或受损管理程序影响;还增加AMD安全嵌套分页(SEV-SNP)功能,以防止数据重放、内存重映射等攻击。

2.2数据库内核优化

2.2.1全自研计算引擎

AnalyticDB for PostgreSQL 全自研计算引擎为数据处理和交互式分析加速。它通过以下技术实现性能提速:

●       应用芯片向量化技术如 SIMD 指令集等把芯片的并行化计算能力利用到极 致。

●       采用 LLVM JIT 即动态编译优化,加速计算以提高数据处理效率。

●       自适应内存模型,根据计算模式动态选择行存/列存内存模型。

●       针对典型场景提供加速方案,比如针对 Runtime Filter 加速Join分析,字典特性加速低基数字段计算场景等。

2.2.2全自研行列混存

一份存储下即可支持实时高吞吐写入/更新和实时高聚合分析两种场景。

写入方面利用 Write Optimized Part 有效承接批量/流式数据并通过内部 Optimize 优化,将数据转化为更利于查询的 Read Optimized Part,从而实现有效的查询性能。利用 Metadata 实现高并发 Update/Delete。

支持基于 Btree 索引的强主键模型,在写入数据时实现有效准确去重。在实时写入场景中单 CPU Core 可达到10万行/秒的写入性能。

支持 Upsert 功能在产生主键冲突时用户可根据实际业务需要灵活地选择忽略更新、覆盖更新或是条件更新模式。

在查询方面存储引擎无缝兼容多种索引类型如 Btree , GIN , GIST 和 自研向量检索索引,可以实现任意维度的高性能点查,全文检索和向量检索。

2.2.3资源隔离增强

支持混合负载实现资源最 大化利用,可同时承载流式写入,数据加工,交互式分析三类任务。

引擎通过资源组实现资源管理,相对使用资源队列更精细化、管理资源类别更全面。

它支持对CPU、内存按照业务优先级设置资源隔离策略,支持动态配置,配置即生效不需要重启引擎,大大减轻运维压力。

2.2.4安全能力增强

完善和增强安全能力:

●       网络连接安全,支持 SSL TLS1.1/1.2/1.3加密算法,满足最 新的网络安全要求。

●       存储安全,支持云盘加密实现数据加密存储。

●       加密算法,支持非对称加密和对称加密算法如 SM4。

●       支持行级和列级权限管控,做到最细权限粒度控制和最小化敏感数据访问。

●       动态数据脱敏,引擎级支持对敏感字段设置脱敏规则,实现敏感信息过滤和保护。

●       支持 SQL 审计可对 SQL 操作明细进行审核。支持事件审计可实现对异常行为追溯。

3、测试结果

性能测试采用国际标准 TPC-H 测试集进行,实验组搭载 AMD EPYC Genoa 服务器 ,对照组集群搭载同等规格下的其它主流硬件。

3.1测试资源

3.2测试过程

3.3测试总结

采用国际标准 TPC-H 测试集以及在同等运行环境下,AnalyticDB for PostgreSQL 采用 AMD EPY 服务器较比常规主流服务器平均性能提升32.7%。

4、优势及应用场景

4.1离在线一体分析

AnalyticDB for PostgreSQL 在 AMD 硬件加持和全自研计算引擎及存储助力下,可同时提供稳定有效的离线批处理和高性能在线报表分析能力,具备高性价比:

●       数据加工后即可为下游报表工具或系统提供在线数据分析服务,避免在多引擎中同步数据造成数据不一致和时效性低的问题。

●       全自研引擎实现高性能交互式分析,行列混合存储可实现有效的IO裁剪,加速多维组合分析。

●       支持实时物化视图实现高并发报表查询。

4.2海外数仓平滑迁移

SQL语法全覆盖并且支持自定义函数和存储过程。高度兼容 Greenplum/Redshift/Synapse/Snowflake 语法。

可覆盖海外云数仓产品企业级能力,在安全能力、资源隔离、容灾等方面实现加强。在实时分析、交互式分析能力上较比海外数仓功能及性能更好,更具性价比。

4.3流批一体实时数仓

自研业界领先流批一体引擎让用户在数仓内即可开发流式任务,支持对批和流任务进行细粒度的资源隔离。

●       可消费 Kafka/Flink/DTS 实时数据源,支持高吞吐流式数据写入。

●       支持增量实时物化视图同步和异步刷新,可实现实时多表关联(支持左连接和右连接)、全量历史数据回溯、流和批表关联。

●       可支持实时 Ad-hoc 查询,满足实时报表分析和下游应用系统高时效性数据需求。

5、开启方式

新购实例优先开启AMD形态。在选择地域时,建议用户勾选“北京、上海、杭州、深圳”地域开启实例。

推广

特别声明:以上内容(如有图片或视频亦包括在内)均为站长传媒平台用户上传并发布,本平台仅提供信息存储服务,对本页面内容所引致的错误、不确或遗漏,概不负任何法律责任,相关信息仅供参考。站长之家将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。任何单位或个人认为本页面内容可能涉嫌侵犯其知识产权或存在不实内容时,可及时向站长之家提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明(点击查看反馈联系地址)。本网站在收到上述法律文件后,将会依法依规核实信息,沟通删除相关内容或断开相关链接。

  • 相关推荐
  • 两步生成企业级Agent,华为云Versatile平台打通智能体落地最后一公里

    华为在2025全联接大会上发布企业级智能体平台Versatile,通过极简流程实现企业级Agent开发,仅需输入业务逻辑与流程图即可完成,效率提升10倍。同时公布昇腾芯片未来三年规划,将陆续发布多款高性能芯片。华为云还推出超节点产品Atlas系列,算力全球领先。CloudMatrix384 AI+Token推理服务全面上线,吞吐量达2400TPS,性能远超业界水平。该平台已与多个行业合作,助力企业构建数字化AI产线,实现业务效率飞速提升。

  • AI日报:抖音打击AI技术滥用行为;OpenAI 收购开发数据分析平台 Statsig;ElevenLabs 音效模型更新

    抖音打击AI技术滥用行为,对违规商家和达人采取下架、清退等措施。ElevenLabs音效模型升级至版本2,支持长音频和无缝循环。OpenAI收购数据分析平台Statsig,增强产品迭代能力。亚马逊推出Lens Live AI功能,实时扫描购物。谷歌AI推出Stax工具,帮助开发者评估大语言模型。WordPress推出AI工具Telex简化网站构建。Liquid AI发布LFM2-VL模型,提升手机视觉语言处理。苹果开源FastVLM与MobileCLIP2模型,优化边缘设备AI应用。MetaGPT推出自动化测试工具RealDevWorld,精准率达92%。瑞士发布开源大模型Apertus,提供多语言处理能力。

  • 云原生应用保护能力获认可!腾讯云再次入选权威研报代表厂商

    国际研究机构Forrester发布《云原生应用保护平台(CNAPP)解决方案全景报告》,腾讯云CNAPP入选全球代表性厂商。报告指出,CNAPP需提供统一管理、威胁检测和响应能力,满足多云环境安全需求。腾讯云CNAPP整合主机防护、云安全治理等能力,支持资产统一纳管、漏洞管理、入侵防御等功能,覆盖金融、政务等多个行业,服务超200万台资产,助力企业构建云原生安全防护体系。

  • 企业级数据分析创新实战:基于表格交互与智能分析的双引擎架构

    文章探讨了企业数字化转型中数据协同的困境,指出传统Excel工具存在数据孤岛、协作困难、分析功能有限等问题,而专业BI工具虽功能强大但技术门槛高。提出通过SpreadJS与Wyn商业智能软件的协同架构,实现从数据采集到分析决策的无缝闭环,提升企业运营效率和竞争力。

  • 腾讯云大数据升级Data+AI能力体系,构建AI-Ready的数据智能平台

    9月17日,腾讯云在数字生态大会上宣布升级大数据产品矩阵Data+AI能力体系,覆盖底层架构、数据平台、数据应用全流程,助力企业应对数据治理、多模态融合与智能化应用等挑战。通过云原生架构、Data+AI一体化和Agent增强,推出TCLake智能数据湖、流湖引擎和企业级搜索ES,提升数据处理效率与智能化水平。WeData平台升级为端到端一体化Data+AI平台,打通数据接入、治理、建模、训练到推理全链路。引入AI+Agent能力,通过Data Agent和ChatBI等创新实践,将智能能力融入数据使用各环节,助力企业释放数据价值,形成差异化AI竞争力。

  • 微算法科技(NASDAQ: MLGO)基于阿基米德优化算法(AOA)的区块链存储优化方案

    区块链技术凭借去中心化、不可篡改等特性,在金融、政务、供应链等领域展现出巨大应用潜力。然而,随着数据上链规模指数级增长,传统区块链存储模式逐渐暴露出数据冗余度高、节点负载不均、存储成本飙升等问题。微算法科技(NASDAQ: MLGO)聚焦区块链存储效率瓶颈,引入阿基米德优化算法(AOA)重构分布式存储架构,通过智能算法优化数据存储与节点协作机制,为区块链规模化应用提供创新解决方案。该方案通过动态分片策略、节点负载均衡与共识效率优化,显著降低数据冗余、提升存储性能,推动区块链存储系统向智能化动态调节演进。未来,AOA技术将持续演进,引入量子计算加速与跨链协议融合,构建更高效的分布式存储生态。

  • Nano Banana更像是AI图像领域的DeepSeek

    这是《窄播Weekly》的第66期,本期我们关注的商业动态是:Google最新的AI图像生成模型Nano Banana,可能会给AI图像领域带来一场应用大爆炸。 去年这个时候,我想把照片中人物手里拿的玩具火车换成玩具飞机,还需要给玩具火车做出精细标记,找到干净的玩具飞机图片,告诉AI将其替换成另一张图里的飞机。我花费一个小时,多番尝试下来,飞机会变形,人物的手会消失,最后的�

  • 腾讯云国际化产品升级:星星海服务器、TDSQL 与 TCE 助力企业无缝出海

    腾讯云在2025全球数字生态大会上宣布多项核心产品升级:星星海服务器全球部署超2亿核,TDSQL新一代架构支持百万并发,专有云TCE实现RTO 2分钟级。数据库TDSQL Boundless结合AI优化器,复杂查询时延降低80%以上。EdgeOne Pages低门槛开发工具助力中小企业快速出海,上线3个月服务超10万用户。腾讯云还加快国际化布局,计划在日本大阪和沙特新建可用区,目前全球已设9个技术支持中心,获400多项专业认证,持续为全球客户提供高质量云服务。

  • AI日报:国产版Nano Banana?即梦图片4.0发布;阿里巴巴发布 Qwen3-Max-Preview;上海重磅发布AI广告扶持政策

    AI日报栏目聚焦人工智能领域最新动态。主要内容包括:即梦图集4.0发布,新增文生图、图像编辑等功能;阿里巴巴推出超万亿参数语言模型Qwen3-Max-Preview;小米AI眼镜上线支付宝“看一看”支付功能;微软开源14B参数模型rStar2-Agent在数学推理领域表现突出;MiniMax启动股权激励计划覆盖核心员工;谷歌明确Gemini使用限制,免费用户每日最多5次提示;上海发布AI广告扶持政策,最高补贴500万元。这些进展展示了AI技术在图像处理、语言模型、智能支付等领域的创新应用。

  • AI日报:阿里云开源通义DeepResearch;夸克推医师考试大模型;迪士尼将起诉MiniMax

    本期AI日报聚焦多项前沿动态:阿里云开源轻量级AI代理DeepResearch,性能媲美OpenAI;夸克推出国内首个全阶段医师考试大模型测试集;微软Copilot将上线类ChatGPT记忆管理功能;迪士尼等巨头起诉MiniMax侵犯版权;OpenAI提升ChatGPT搜索准确性;Notion推出个性化AI助手;谷歌发布更小巧高效的时间序列预测模型TimesFM-2.5;Figma推出AI设计功能简化创作流程。整体展现AI技术在开源、医疗、版权、开发工具等领域的快速演进与应用创新。

今日大家都在搜的词: