Intel助力阿里云大模型提升效率
Intel宣布其数据中心、客户端和边缘AI解决方案已为阿里云通义千问2(Qwen2)提供支持,取得了多项创新成果。
为了提升通义千问2等大模型的效率,Intel进行了全面优化,包括融合算子、量化技术等。
Intel还采用了多种技术提高推理效率,如KV Caching和PagedAttention。
硬件加速
Intel硬件与软件框架相结合,可加速大模型推理。如PyTorch和Intel PyTorch扩展包、OpenVINO工具包等。
Intel Gaudi AI加速器专为大模型加速而设计,可轻松部署超大模型。
Intel对70亿和720亿参数的通义千问2模型进行了基准测试,结果如下:
70亿参数通义千问2在单颗Gaudi 2加速器上的推理
720亿参数通义千问2在八颗Gaudi 2加速器上的推理
通义千问2 FP8在Gaudi 2加速器上的推理
通义千问2在Gaudi 2加速器上的微调
Intel至强处理器适用于各种规模的数据中心,可加速AI推理。
至强处理器内置Intel AMX高级矩阵扩展,可处理多样化的AI工作负载。
阿里云ecs.ebmg8i.48xlarge实例上运行通义千问2的下一个token延迟
消费级AI PC
消费级AI PC可本地部署大模型,可以使用内置GPU核显、NPU AI引擎或独立显卡。
酷睿Ultra 7 165H上的通义千问2推理
- 相关推荐
-
千问登场,阿里瞄准C端关键一战
2023年9月,在正式接任CEO的第三天,吴泳铭发布的首份阿里全员信,宣布了阿里新的战略重点方向:用户为先、AI驱动。当时行业内更多把它视为一家企业在AI时代的惯性表述。 然而,就在过去一年中,围绕AI在C端用户场景的“可能性”,全球AI行业的叙事逻辑已经发生了明显转向。 OpenAI在完成大模型能力的“基座化”后,开始把更多资源押在C端生态。过去两年,随着GPT-5等产�
-
荐AI日报:Lovart AI上线“元素拆分”功能;Xcode 26.1.1发布;阿里云通义模型首次大规模赋能双11
本期AI日报涵盖八大热点:Lovart AI推出"元素拆分"功能,实现海报智能分层编辑;苹果Xcode 26.1.1优化AI编码性能;阿里云通义模型双11单日翻译调用量突破14亿次;Gemini 3在历史手稿破译中展现专家级能力;德国法院裁定OpenAI使用歌词训练构成侵权;开源语音模型Maya1实现富有表现力的实时文本转语音;Meta首席AI科学家LeCun计划离职创办世界模型公司;AI专家罗福莉加入小米,将致力于构建物理世界智能。
-
千问,阿里的未竟之梦
在一个大阿里和一个吴妈的统一指挥下,千问诞生了。 11月17日,阿里正式宣布推出“千问”项目,面向公众上线其App公测版。该项目前身为智能信息事业群旗下的“通义App”,改名后的千问号称“阿里最强大模型官方助手”,定位为“会聊天、能办事”的个人AI助手。 官方称,千问后期计划与阿里生态内的各类生活场景深度结合。其目标是与ChatGPT展开全面竞争,标志着阿里
-
千问APP悄悄上线,阿里的AI超级入口也终于来了。
阿里“千问”APP昨日在应用商店悄然上线,界面从通义APP的双色渐变变为简洁单色设计,功能大幅增强,支持Qwen全系列最新模型。此次品牌整合将阿里分散的AI触点统一为“千问”品牌,实现模型与产品名称对齐,让普通用户首次能在官方APP使用最强Qwen3-Max模型。APP默认开启联网搜索,集成图像编辑、视频通话等场景功能,通过智能意图识别实现一站式服务。这标志着阿里开始认真打技术+品牌两张牌,推动AI技术以更清晰方式触达用户。
-
阿里千问APP宣布开启公测 号称打造最佳个人AI助手
阿里巴巴11月17日启动“千问”项目,全面进军AI to C市场,标志着其在人工智能领域的新战略布局。APP公测版已上线各大应用商店,网页和PC版同步推出,国际版即将上线。基于Qwen模型在海外的影响力,“千问”将与ChatGPT等国际产品竞争,展现中国AI实力。Qwen系列模型全球下载量突破6亿次,性能超越Llama等,成为全球最强开源大模型。“千问”致力于打造“会聊天能办事”的个人AI助手,已具备生成报告、制作PPT等能力,未来计划接入地图、外卖、办公等生活场景,成为用户得力助手。
-
荐AI日报:阿里千问APP公测;Veo 3.1上线多图参考;超级小爱AI大模型“随心修图”上线
本期AI日报聚焦多项技术突破:阿里千问APP公测,基于Qwen3模型对标ChatGPT;谷歌Veo 3.1支持三图融合生成8秒视频;小米推出"随心修图"功能与7B多模态模型Miloco;谷歌Flow集成Nano Banana模型实现智能抠图;多模态AI工具DeepEyesV2可执行代码与网络搜索;NotebookLM升级支持图像导入检索;JetBrains推出DPAI Arena测试编码AI性能。全球AI竞争持续升温,产品迭代加速。
-
阿里通义App重大品牌升级!正式更名为“千问”
11月14日,阿里巴巴旗下“通义”App正式更名为“千问”,版本号从3.60.0跃升至5.0.0,已登陆苹果及各大安卓应用商店。该应用基于阿里最强Qwen大模型打造,具备对话问答、智能写作、多模态相机等核心功能,被定位为“阿里最强大模型官方AI助手”。阿里巴巴视其为“AI时代的未来之战”,已抽调上百名工程师加速推进,并同步研发国际版,计划借助Qwen模型的海外影响力与ChatGPT直接争夺全球用户。
-
工程师变身AI“指挥者”,吉利与阿里云的软件开发变革实验
1975年,IBM工程师Fred Brooks在《人月神话》中指出软件工程的核心难题:系统与团队规模增长会导致复杂度指数级上升,且“没有银弹”能单一提升生产力。如今汽车行业正经历软件史上最大挑战,吉利汽车软件人员占比从不足10%跃升至40%,智能汽车代码量超亿行。面对异构系统协同、安全标准严苛等难题,吉利与阿里云通义灵码深度合作,通过AI生成代码(占比超30%)、代码审查测试等,提升开发效率20%,并探索用AI破解遗留系统维护、知识传递等痛点。工程师角色正从“执行者”转向“AI指挥官”,未来或实现从需求到交付的全流程自动化协同。
-
阿里巴巴回应千问崩了:状态良好 欢迎来问
11月17日,阿里巴巴AI应用“千问”公测首日因用户涌入量过大,导致服务拥堵和中断,引发“千问崩了”话题登上热搜。官方迅速以轻松幽默语气回应“我好着呢”,并透露应用尚处初级版本,但已展现快速生成报告和PPT等“办事”能力。未来计划接入地图、外卖、办公等生活场景,拓展服务范围,提升用户体验。
-
Qwen用开源逆袭GPT的故事,千问APP要再干一遍
Qwen模型逆袭GPT的策略,阿里准备再用一次。 2018年,OpenAI发布了自己的第一个模型GPT1,占据了技术先机,随后变得越来越封闭。在大洋彼岸,阿里几乎同一时间着手大模型研究,到2023年推出“通义千问”时,则选择了一条完全不同的路径:直接开源模型,允许开发者免费使用、改进和集成。 这个策略让Qwen逐步积累起规模,做到了如今全球开发者基于它发布了17万个衍生模型�
