首页 > 业界 > 关键词  > 正文

阿里云推出第八代企业级实例g8i AI推理性能提升7倍

2024-01-12 10:44 · 稿源:站长之家

站长之家(ChinaZ.com) 1月12日 消息:阿里云推出了第八代企业级通用计算实例 ECS g8i,采用了阿里云自研的「飞天 + CIPU」架构体系和第五代英特尔至强可扩展处理器。新款实例的整机性能最高提升85%,AI 推理性能最高提升7倍,可以支持高达72B 参数的大语言模型。此外,ECS g8i 实例还提供了端到端的安全防护,为企业构建可信的 AI 应用提供了强大的隐私增强算力支持。

在通用算力方面,ECS g8i 实例的 L3缓存容量提升到320MB,内存速率高达5600MT/s,整机性能提升85%,单核性能提升25%。存储方面,ESSD 云盘提供100万 IOPS,全面搭载 NVMe,存储延迟低至百微秒。网络方面,PPS 高达3000万,标配阿里云自研 eRDMA 大规模加速能力,时延低至8微秒。安全方面,ECS g8i 实例支持可信计算与加密计算等特性,全球率先支持机密虚拟机 TDX 技术,构建了全面的安全防护。

微信截图_20240112104507.png

对于 AI 应用来说,ECS g8i 实例采用了 Intel AMX 高级矩阵扩展加速技术,将生成式 AI 的运行速度提升了7倍,可以更快地运行知识检索、问答系统和摘要生成等任务。配合阿里云 Spot 抢占式实例,成本优势将进一步凸显,降低推理成本。此外,基于自研 eRDMA 超低延时弹性网络,ECS g8i 实例集群可以支持高达72B 参数的大语言模型分布式推理,推理性能随集群规模接近线性加速,并且支持超过32batchsize 的超大参数规模的 AI 模型负载。

在安全方面,阿里云通过硬件可信根和虚拟可信能力 vTPM,实现了服务器的可信启动和实例启动过程核心组件的校验能力。此次升级的 ECS g8i 实例全量支持 Trust Domain Extension TDX 技术,为大模型等 AI 应用提供了隐私增强算力。

阿里云表示,ECS g8i 实例的强劲表现证明了以 CPU 为中心的计算体系同样具备加速 AI 推理的潜力,公共云不仅可以胜任超大规模的 AI 模型,还为 AI 应用加速落地提供了新的路径。

举报

  • 相关推荐
  • 大家在看
  • SpeedLegal:个人AI合同谈判助手

    SpeedLegal是一个利用机器学习技术(特别是深度学习、大型语言模型和通用AI)来突出合同中的条款和关键风险的技术初创公司。我们分析您的文档并发送给您一个简化的报告,以便您在签名前做出更明智的决策。

  • FCK.School:AI写作工具

    FCK.School是一个为学生提供AI写作工具的在线平台。它可以帮助学生改善写作技巧,提升学术表现。通过FCK.School的AI驱动工具,学生可以进行文本改写、文摘、语法纠错等操作,还能生成各种写作素材,如标题、论点、大纲等。FCK.School提供免费工具以供试用,同时还有付费订阅计划。

  • CompliantChatGPT:AI医疗助手,HIPAA合规

    CompliantChatGPT是一款专为医疗保健行业设计的AI助手,它通过HIPAA合规的方式,帮助医疗工作者安全、高效地处理医疗相关任务。产品具备以下特点: - 保护患者数据安全,通过令牌化技术确保个人健康信息(PHI)的安全。 - 提供个性化的医疗模式,包括血液分析、PHI匿名化、诊断和治疗规划等。 - 用户友好的界面设计,支持语音到文本的笔记功能,便于记录和回顾。 - 定价策略灵活,提供免费试用,以及多种付费套餐选择。 - 适用于医疗提供者、专业人士、医疗机构、研究中心和健康科技初创企业。

  • Healax:AI驱动的心理健康解决方案

    Healax是一款创新的AI驱动的心理健康解决方案,专为学生设计,帮助他们主动应对日常生活中的压力和焦虑。该产品通过建立学生、行政人员和提供者之间的信任沟通渠道,提供定制化活动和内容,以促进更全面的教育体验。

  • Snowflake Arctic Embed:开源的先进文本嵌入模型

    Snowflake Arctic Embed是一系列基于Apache 2.0许可开源的文本嵌入模型,专为检索用例设计。这些模型在Massive Text Embedding Benchmark (MTEB)检索基准测试中提供了领先的检索性能,为组织在结合专有数据集与大型语言模型(LLMs)进行检索增强生成(RAG)或语义搜索服务时提供了新的优势。这些模型的尺寸从超小型(xs)到大型(l),具有不同的上下文窗口和参数数量,以满足不同企业的延迟、成本和检索性能需求。

  • DuerOS X:全球首个AI原生操作系统

    DuerOS X是小度基于百度文心大模型推出的全球首个AI原生操作系统。它彻底颠覆了传统的人适应系统的模式,实现了端到端连接用户的意图与任务,极大地拓展了操作系统的边界。DuerOS X全面应用了文心大模型,通过模型路由架构,能够灵活调度不同的文心模型去解决不同难度的问题,更高效、更精准、更经济。个性化长短记忆的存储、提取和理解能力,使得DuerOS X能够更清楚地记住历史内容与用户个性化偏好。此外,多模态感知技术的应用,让DuerOS X产生更丰富的感知力,无论是通过语音、文字还是表情与小度沟通,都能准确地理解用户的意图,并给出恰当的回应。

  • abab 6.5:万亿参数MoE文本大模型

    abab 6.5系列包含两个模型:abab 6.5和abab 6.5s,均支持200k tokens的上下文长度。abab 6.5包含万亿参数,而abab 6.5s则更高效,能在1秒内处理近3万字的文本。它们在知识、推理、数学、编程、指令遵从等核心能力测试中表现出色,接近行业领先水平。

  • mistral-common:Mistral模型工具集

    mistral-common是一套帮助您处理Mistral模型的工具。它不仅包含文本到token的转换,还增加了工具解析和结构化对话。目前发布了三个版本的tokenizer,分别适用于不同的模型集合。

  • AI Grammar Checker & Paraphraser – LanguageTool:提供语法检查和改写的工具

    AI语法检查与改写工具- LanguageTool是一款免费的语法检查工具,可以检测文本中的语法错误并提供改写建议。它能够检测出拼写错误、语法问题、常见词汇混淆和标点符号错误,并提供改写建议、同义词替换和简洁句子重写。该工具适用于多种语言,支持多个平台和应用场景,如社交媒体、电子邮件和网页。

  • Spline AI 3D Generation:快速生成三维模型的AI工具

    AI 3D Generation是Spline推出的一款3D设计工具,它支持文本到3D生成和图像到3D生成,允许用户通过简单的文本提示或2D图像自动创建出详细且精确的3D模型。该工具具有生成变体与混合、直观且适合初学者、创建独特的3D库、平台集成与实时协作、易于集成和发布等功能。

  • FocuSee:轻松录屏 软件会自动跟踪光标移动美化录屏效果

    FocuSee 自动跟踪光标移动,应用动态缩放效果,为您节省宝贵时间和额外的努力。适用于演示,教程,推广视频等多种场景。

  • Ai-to-pptx:使用AI技术来自动生成PPTX 支持在线修改

    Ai-to-pptx 是一个使用 AI 技术 (ChatGpt 和 Gemini) 制作 PPTX 的助手,支持在线修改和导出 PPTX。主要功能包括使用 ChatGPT 等大语言模型生成大纲、允许用户再次修改内容、选择不同模板、在线修改 PPTX 的文字、样式、图片等,支持导出 PPTX、PDF、PNG 等多种格式。价格为付费,商业授权价格为 22000 元人民币或 3000 美元。

  • CodeQwen1.5:开源代码助手,高效编程新选择

    CodeQwen1.5是一个基于Qwen语言模型的代码专家模型,拥有7B参数,支持92种编程语言,最长支持64K的上下文输入。它具备代码生成、长序列建模、代码修改和SQL能力等,旨在提高开发人员的工作效率,简化软件开发流程。

  • PixArt-Sigma:4K文本到图像生成的扩散变换器

    PixArt-Sigma是一个基于PyTorch的模型定义、预训练权重和推理/采样代码的集合,用于探索4K文本到图像生成的弱到强训练扩散变换器。它支持从低分辨率到高分辨率的图像生成,提供了多种功能和优势,如快速体验、用户友好的代码库和多种模型选择。

  • InstantMesh:高效3D网格生成框架

    InstantMesh是一个基于LRM架构的前馈框架,用于从单张图像高效生成3D网格。它支持低内存GPU环境,并能生成具有纹理映射的3D网格模型。

  • MagicClothing:基于LDM的服装驱动图像合成AI

    MagicClothing是一种基于潜在扩散模型(LDM)的新型网络架构,专门用于服装驱动的图像合成任务。它能够根据文本提示生成穿着特定服装的定制化角色图像,同时确保服装细节的保留和对文本提示的忠实呈现。该系统通过服装特征提取器和自注意力融合技术,实现了高度的图像可控性,并且可以与ControlNet和IP-Adapter等其他技术结合使用,以提升角色的多样性和可控性。此外,还开发了匹配点LPIPS(MP-LPIPS)评估指标,用于评价生成图像与原始服装的一致性。

  • FireCrawl:无需站点地图,一键抓取网站所有子页面

    FireCrawl 是一款由 Mendable.ai 开发的开源项目,它能够无需站点地图即可抓取任何网站的所有可访问子页面,并将这些内容转换为干净、格式化的Markdown文档。它特别适合数据科学家、机器学习工程师、内容创作者和市场分析师使用,以从网站内容中提取有价值的信息。FireCrawl 能够处理使用JavaScript动态渲染的内容,提供API服务,支持自托管,并与多种开发者工具和框架集成。

  • Atlas:下一代电动机器人

    Atlas是波士顿动力公司开发的一款先进的人形机器人,它结合了数十年的研究和实际经验,旨在解决当今工业领域中最艰巨的挑战。新一代的Atlas机器人是全电动的,比以往的液压版本更强大,动作范围更广,能够更高效地完成各种任务。Atlas机器人配备了新的AI和机器学习工具,如强化学习和计算机视觉,以确保它们能够适应复杂的现实世界情况。此外,Atlas将与波士顿动力公司的Orbit™软件集成,该软件提供了一个集中的平台来管理整个机器人车队、站点地图和数字化转型数据。

  • Stable Diffusion 3 API:先进的文本到图像生成系统

    Stable Diffusion 3是一款先进的文本到图像生成系统,它在排版和提示遵循方面与DALL-E 3和Midjourney v6等顶尖系统相匹敌或更优。该系统采用新的多模态扩散变换器(MMDiT)架构,使用不同的权重集来改善图像和语言的表示,从而提高文本理解和拼写能力。Stable Diffusion 3 API现已在Stability AI开发者平台上线,与Fireworks AI合作提供快速可靠的API服务,并承诺在不久的将来通过Stability AI会员资格开放模型权重以供自托管。

  • 奇布塔:AI一站式儿童有声绘本创作平台

    奇布塔是基于人工智能生成技术的绘本创作平台,提供各种风格的有声绘本创作功能,帮助用户创作优质的绘本内容。定价灵活多样,定位于绘本创作者和儿童阅读者市场。

今日大家都在搜的词: