阿里云全面升级GPU云服务：AI大模型推理性能可提升100%

阿里云正式推出其全面升级的 GPU 云服务，针对 GPU 计算最常用的容器技术，推出了 ACK 云原生 AI 套件。

为了解决单 GPU 难以满足推理应用需求的问题，阿里云通过优化底层 AI 通信加速库 DeepNCCL，提升了 GPU 云服务的推理场景性能。在同等硬件环境下，Token 输出吞吐提升至少 14%，首 Token 时延降低 15%。

深入优化后，推理加速性能显著提升，Token 处理能力提高了 100%，使用 Kubernetes 容器集群技术调用 GPU 算力已成为运行 AI 大模型任务的普遍选择。

ACK 容器服务提供自动化编排、高效 GPU 管理和调度，简化了模型部署和扩展。ACK 云原生 AI 套件进一步提升了 AI 应用运维效率，在关键领域增强了 Kubernetes 的能力，例如 GPU 调度、细粒度共享、AI 任务调度、训练数据加载和大模型推理服务启动。

国产 AI 绘画工具海艺 AI 已采用 ACK 调用阿里云 GPU 云服务，实现了模型切换完全无感，推理耗时降低至 3.95 秒，整体性能提升超过 50%。

在 Forrester 全球 AI 基础设施解决方案研究报告中，阿里云综合产品能力位居全球第二，已成为中国 AI 大模型的公共底座。

（举报）