首页 > 业界 > 关键词  > Intel最新资讯  > 正文

Intel三条线优化阿里云通义千问2模型:720亿参数轻松拿捏

2024-06-08 09:44 · 稿源: 快科技

Intel助力阿里云大模型提升效率

Intel宣布其数据中心客户端边缘AI解决方案已为阿里云通义千问2(Qwen2)提供支持,取得了多项创新成果。

为了提升通义千问2等大模型的效率,Intel进行了全面优化,包括融合算子、量化技术等。

Intel还采用了多种技术提高推理效率,如KV Caching和PagedAttention。

硬件加速

Intel硬件与软件框架相结合,可加速大模型推理。如PyTorch和Intel PyTorch扩展包、OpenVINO工具包等。

Intel Gaudi AI加速器专为大模型加速而设计,可轻松部署超大模型。

Intel对70亿和720亿参数的通义千问2模型进行了基准测试,结果如下:

70亿参数通义千问2在单颗Gaudi 2加速器上的推理

70亿参数通义千问2在单颗Gaudi 2加速器上的推理

720亿参数通义千问2在八颗Gaudi 2加速器上的推理

720亿参数通义千问2在八颗Gaudi 2加速器上的推理

通义千问2 FP8在Gaudi 2加速器上的推理

通义千问2 FP8在Gaudi 2加速器上的推理

通义千问2在Gaudi 2加速器上的微调

通义千问2在Gaudi 2加速器上的微调

Intel至强处理器适用于各种规模的数据中心,可加速AI推理。

至强处理器内置Intel AMX高级矩阵扩展,可处理多样化的AI工作负载。

阿里云ecs.ebmg8i.48xlarge实例上运行通义千问2的下一个token延迟

阿里云ecs.ebmg8i.48xlarge实例上运行通义千问2的下一个token延迟

消费级AI PC

消费级AI PC可本地部署大模型,可以使用内置GPU核显、NPU AI引擎或独立显卡。

酷睿Ultra 7 165H上的通义千问2推理

酷睿Ultra 7 165H上的通义千问2推理

酷睿 Ultra 7 165H上的通义千问2下一个token延迟

酷睿 Ultra 7 165H上的通义千问2下一个token延迟

锐炫A770 16GB显卡上的通义千问2下一个token延迟

锐炫A770 16GB显卡上的通义千问2下一个token延迟

举报

  • 相关推荐
  • AI日报:腾讯开源3D世界模型HunyuanWorld-Voyager;即梦AI系列模型开放API;通义推智能体开发框架AgentScope 1.0

    本文介绍了AI日报栏目,聚焦人工智能领域最新动态。主要内容包括:腾讯开源具备3D重建能力的HunyuanWorld-Voyager模型、通义实验室推出的多智能体开发框架AgentScope 1.0、即梦AI开放图像与视频生成API、腾讯翻译模型Hunyuan-MT-7B在WMT2025斩获佳绩、苹果推出图像生成技术STARFlow和视觉语言模型FastVLM、新模型CoMPaSS-FLUX.1提升空间理解能力、Cherry Studio免费提供Qwen38B模型、谷歌Gemini API新增网页内容解析功能,以及腾讯优图开源智能体框架Youtu-Agent。这些进展展现了AI技术在多个领域的创新与应用。

  • 让天下没有难查的故障:2025 阿里云 AI 原生编程挑战赛正式启动

    阿里云主办的2025 AI原生编程挑战赛聚焦智能运维(AIOps)赛道,旨在通过AI技术解决云原生环境下的系统故障定位问题。比赛提供真实云原生环境及多模态可观测数据,鼓励开发者借助大语言模型(LLM)打造低成本、高效率的故障诊断智能体。冠军可获得3万元奖金,并有机会与行业专家交流。赛事致力于推动AI在运维领域的创新应用,提升系统稳定性与可用性。

  • 阿里云百炼平台首个停车MCP服务上线,捷停车提供全维数据和场景支持

    8月初,捷停车-停车信息MCP服务正式上线阿里云百炼平台,成为该平台首个停车行业MCP服务,为开发者和用户提供高效停车信息查询能力。该服务覆盖全国400城、超5.9万停车场,注册用户突破1.4亿,支持车位查询、快速进出场及便捷缴费等全流程智慧停车体验。通过MCP服务,捷停车打破停车数据“信息孤岛”,实现专业停车能力“开箱即用”,助力出行服务体验升级,并推动停车行业与AI技术深度融合,加速智慧经济落地。

  • 真补贴、真落地!阿里云发布AI应用先锋计划,助力企业跑通AI第一程

    阿里云AI应用先锋计划通过“云+AI+行业适配”模式,助力企业突破AI落地瓶颈。该计划提供云资源补贴、POC服务、专家咨询及联合品牌推广等支持,降低企业AI应用门槛。结合端云协同架构,解决算力成本高、模型部署难等问题,已在智能硬件、教育、政务等领域实现案例落地,推动AI从技术尝鲜走向常态化应用。

  • 特斯拉Model Y L开启全国首批交付:售价33.9万元起

    今日,特斯拉官方正式宣布,旗下大六座豪华纯电SUV——Model Y L正式开启全国首批交付,新车起售价定为33.9万元。Model Y L在延续现款Model Y经典设计的基础上,对车身尺寸进行了加长处理,并创新性地推出了六座版本,以满足更多家庭用户的出行需求。 具体来看,Model Y L的车身尺寸达到了长4976mm、宽1920mm、高1668mm,轴距更是延长至3040mm,成功跻身中大型SUV行列。与普通版相比�

  • AI日报:Wan 2.2-S2V模型即将发布;​字节跳动内测3D Model Generator;微软开源 VibeVoice-1.5B 模型

    本期AI日报聚焦多项技术突破:阿里通义万相发布Wan 2.2-S2V模型,实现视频音频同步生成;字节跳动研发3D模型生成工具,降低建模门槛;面壁智能推出MiniCPM-V4.5端侧多模态模型;苹果提出RLCF训练法提升模型性能;微软开源VibeVoice-1.5B支持超长语音合成;谷歌Imagen 4正式上线;英伟达发布Jetson Thor机器人计算平台;Genspark推出AI Designer一键生成品牌方案;豆包上线未成年人保护模式。

  • 特斯拉Model 3长续航后轮驱动版降价1万元 售价25.95万起

    上月12日,特斯拉Model3长续航后轮驱动版在中国市场正式上线销售,官方定价为26.95万元。这款车最大的亮点在于其超长续航能力,官方标注的CLTC续航里程高达830公里。 工信部减免购置税新车公示目录显示,它搭载了78.4kWh的三元锂电池包,纯电续航有830/800km两个版本。除续航优势外,动力也有升级,采用型号为3D6的后驱电机,电机最大功率达225kW,比现款后驱车型增加31kW,百

  • MCP服务库完整指南:如何选择最适合的Model Context Protocol服务

    本文介绍了MCP(Model Context Protocol)作为连接大型语言模型与外部数据源的重要桥梁。随着AI技术发展,选择合适的MCP服务库对开发者至关重要。文章分析了MCP服务库的核心价值:提升开发效率、增强系统互操作性、降低技术门槛。评估MCP服务库质量需考虑协议兼容性、安全性、生态系统丰富度及社区活跃度等维度。建议开发者根据业务需求选择服务,初创公司可侧重简便性,大型企业应关注安全性和扩展性。文章还指出MCP服务未来将向云原生化、智能化运维和标准化方向发展,并推荐使用专业对比平台(如mcp.aibase.cn)辅助决策。

  • AI日报:AI内容新规正式生效;美团推出开源大模型LongCat;阶跃发布语音大模型Step-Audio 2 mini

    AI日报栏目每日更新AI领域热点内容,聚焦开发者需求。本期重点包括:阶跃星辰发布端到端语音大模型Step-Audio2 mini,在多项基准测试中表现优异;9月1日起AI生成内容需强制标识;美团推出开源大模型LongCat;上海AI实验室发布多模态大模型InternVL3.5;腾讯ARC团队推出音频生成模型AudioStory;OpenAI发布实时语音模型GPT-realtime;Meta与UCSD合作推出DeepConf技术;xAI代码库遭窃事件;阿里巴巴Qwen团队发布GUI自动化框架;微软推出Copilot Labs实验中心;小红书自动化工具xiaohongshu-mcp上线。

  • 阿里云AI火花大会:规模化前夜,AI务实派靠场景破局

    阿里云在深圳成功举办AI创新应用大会,提出要将"云+AI"技术转化为千行百业的商业动能。大会吸引了近千家企业参与,探讨AI技术从理论走向商业实践的路径。阿里云智能集团副总裁刘湘雯指出,AI不仅是技术演进,更是生产力革命。会议聚焦大模型与AI Agent的融合机遇,提出企业智能化转型需把握四大趋势:技术迭代加速、开源填补鸿沟、智能体从"工具人"变为"决策者"、交互革命重构人机触点。阿里云通过三层落地逻辑(模型API Server、Agent对接层、行业解决方案)助力企业穿透技术迷雾,并发布AI应用先锋计划,联合生态伙伴加速AI应用从概念验证到规模化落地。

今日大家都在搜的词: