首页 > 业界 > 关键词  > 正文

微软推出ND H100v5虚拟机系列 配备8个英伟达H100芯片

2023-11-21 08:50 · 稿源:站长之家

站长之家(ChinaZ.com)11月21日 消息:微软推出了全新的 ND H100v5虚拟机系列,该系列配备了最新的 NVIDIA H100Tensor Core GPU 和 NVIDIA Quantum-2InfiniBand 网络。

这款虚拟机具有 AI 超级计算 GPU、新一代 CPU、低延迟网络、优化主机到 GPU 的性能以及大规模的内存和内存带宽等特性,能够提供无与伦比的计算能力。

微软 (3)

使用新的8位 FP8浮点数据类型进行矩阵乘法操作时,速度提升了六倍,比前一代的 FP16更快。ND H100v5VM 帮助大型语言模型(如 BLOOM175B 端到端模型)实现了最高两倍的推理速度提升,验证了它们进一步优化 AI 应用的潜力。

ND H100v5VM 虚拟机系列具有以下特性:

  • AI 超级计算 GPU:配备了八个 NVIDIA H100Tensor Core GPU。比起上一代虚拟机,该系列可让 AI 模型显著提速,为企业提供无与伦比的计算能力。

  • 新一代计算机处理单元(CPU):CPU 性能对于 AI 的训练和推理至关重要,微软选择了第四代 Intel Xeon Scalable 处理器,确保虚拟机达到最佳的处理速度。

  • 低延迟网络:采用 NVIDIA Quantum-2ConnectX-7InfiniBand,每个 GPU 拥有400Gb/s、每个 VM 拥有3.2Tb/s 的跨节点带宽,确保 GPU 间的无缝性能,堪称全球顶级超级计算机。

  • 优化主机到 GPU 的性能:通过PCIe Gen5提供每个GPU64GB/s的带宽,Azure在CPU和GPU之间具有显著的性能优势。

  • 大规模的内存和内存带宽:DDR5内存是该系列虚拟机的核心,提供更高的数据传输速度和效率,使它们成为处理大规模数据集工作负载的理想选择。

举报

  • 相关推荐
  • 大家在看

今日大家都在搜的词:

热文

  • 3 天
  • 7天