Intel助力阿里云大模型提升效率
Intel宣布其数据中心、客户端和边缘AI解决方案已为阿里云通义千问2(Qwen2)提供支持,取得了多项创新成果。
为了提升通义千问2等大模型的效率,Intel进行了全面优化,包括融合算子、量化技术等。
Intel还采用了多种技术提高推理效率,如KV Caching和PagedAttention。
硬件加速
Intel硬件与软件框架相结合,可加速大模型推理。如PyTorch和Intel PyTorch扩展包、OpenVINO工具包等。
Intel Gaudi AI加速器专为大模型加速而设计,可轻松部署超大模型。
Intel对70亿和720亿参数的通义千问2模型进行了基准测试,结果如下:

70亿参数通义千问2在单颗Gaudi 2加速器上的推理

720亿参数通义千问2在八颗Gaudi 2加速器上的推理

通义千问2 FP8在Gaudi 2加速器上的推理

通义千问2在Gaudi 2加速器上的微调
Intel至强处理器适用于各种规模的数据中心,可加速AI推理。
至强处理器内置Intel AMX高级矩阵扩展,可处理多样化的AI工作负载。

阿里云ecs.ebmg8i.48xlarge实例上运行通义千问2的下一个token延迟
消费级AI PC
消费级AI PC可本地部署大模型,可以使用内置GPU核显、NPU AI引擎或独立显卡。

酷睿Ultra 7 165H上的通义千问2推理
- 相关推荐
-
上线仅7天!阿里通义千问3强势登顶全球开源模型宝座
据了解,千问3是国内首个混合推理模型”,快思考”与慢思考”集成进同一个模型,对简单需求可低算力秒回”答案,对复杂问题可多步骤深度思考”,大大节省算力消耗。
-
GPTBots 集成阿里通义千问 3.0,持续为企业提供顶尖 AI 服务
GPTBots.ai平台宣布完成与阿里通义千问3.0系列模型的技术集成,成为企业级AI智能体构建领域的标杆平台。该平台通过混合推理架构和多语言交互技术,支持119种语言服务,覆盖全球主要市场。平台提供双模式智能任务处理:针对复杂业务场景的"深度思考"模式,以及高频咨询的"即时响应"模式。搭载Qwen-3-235B旗舰模型和Qwen-3-30B轻量版,在代码生成、数学推理等核心能力上达到行业顶尖水平。平台实现与企业ERP、CRM等系统的无缝对接,推动数据价值变现。通过标准化流程自动化、全球化服务等核心价值,帮助企业提升运营效率70%、降低客服成本70%,并实现数据驱动的决策升级。
-
荐AI日报:阿里通义千问Qwen3问鼎全球开源模型;Kimi长思考模型API发布;OpenAI发布新一代GPT-4.1模型
【AI日报】汇总了近期AI领域重要动态:1)阿里通义千问3开源模型上线7天即登顶全球开源模型榜首,在指令遵循和推理能力上超越闭源模型;2)月之暗面推出Kimi长思考模型API,可解决复杂代码和数学问题;3)OpenAI发布GPT-4.1模型,性能提升显著;4)Google推出Gemini2.5Pro模型,提升开发者编码能力;5)联想发布"天禧超级智能体",具备多模态感知能力;6)腾讯元宝上线"对话分
-
阿里千问3登顶全球最强开源模型 已在通义App上线
阿里集团推出新一代开源AI模型"通义千问3"(Qwen3),包含8款不同规格的混合推理模型。旗舰型号Qwen3-235B采用混合专家架构,创下国产模型性能新纪录;Qwen3-32B则以部署成本低、运行稳定见长。该系列在逻辑推理、编程、翻译等专业领域表现卓越,用户可通过通义App和网页版体验。升级后的通义App整合问答对话、图像理解与生成等多项功能,持续强化代码生成、数学解题等专业场景应用能力,致力于打造实用性强的个人AI助手。
-
荐AI日报:通义千问Qwen3重磅发布;抖音AI搜索能力开放;ChatGPT 搜索新增网购功能;Suno V4.5版本将发布
本期AI日报重点内容: 1. 通义千问发布Qwen3大模型,在代码、数学和通用能力方面表现突出,支持两种思考模式并开源多个模型权重 2. 抖音开放AI搜索能力接口,为第三方应用提供丰富内容资源 3. ChatGPT新增网购功能,通过对话获取个性化商品推荐 4. Suno AI即将推出V4.5版本,提升音乐生成真实度 5. Simular AI登陆macOS,打造本地化智能助手 6. 暗月之面开源Kimi-VL模型,可处理文本、图像和视频 7. UCLA与Meta推出d1框架,提升大语言模型推理速度 8. 通义灵码上线Qwen3编程智能体 9. Gen-4References图像生成技术惊艳亮相 10. Hugging Face推出可编程机械臂SO-101 11. Windsurf推出全新品牌标志 12. Ollama全面支持Qwen3模型本地部署
-
荐千问3的屠榜,是AI的一小步,也是阿里的一大步
阿里发布Qwen3大模型,终结"阿里是否AI公司"的讨论。该模型以4张H20显卡即可部署,成本仅为同类产品的30%,覆盖从0.6B到14B全尺寸,适配手机、智能眼镜等多种设备。阿里CEO吴泳铭宣布未来三年投入超3800亿建设云和AI基础设施,相当于阿里近三年累计利润总额。文章指出,中国78%受访者对AI发展持乐观态度,远超美国的35%。阿里通过开源战略和云+AI组合拳,已构建完整AI生态,其千问系列模型不仅助力夸克、钉钉等产品重塑,更成为推动中国产业智能化转型的核心力量。
-
阿里巴巴正式开源千问3 仅需4张H20即可部署满血版
阿里巴巴开源新一代通义千问模型Qwen3,采用混合推理架构,集成"快思考"与"慢思考"模式,能根据任务复杂度自动调整计算资源。该模型参数规模235B,在GPQA等权威评测中表现优异,以更小规模实现超越上一代模型的性能。Qwen3包含2款MoE模型和6款密集模型,部署成本大幅降低,仅需4张H20显卡即可运行满血版,显存占用仅为同类模型的三分之一。新模型通过智能分配算力,在简单任务上快速响应,复杂问题上深度思考,显著提升能效比。
-
魅族Flyme AIOS 2宣布接入阿里云端到端大模型Qwen Omni
Flyme AIOS2系统引入全新设计的智能助手Aicy,其界面设计更具呼吸感与动态效果,同时搭载升级后的思考引擎,可实现更精准的语义理解和场景响应。值得关注的是,该系统成为业内首家接入阿里云自主研发的Qwen Omni云端到端大模型的操作系统,支持超低延迟的自然语音交互,并覆盖多地
-
阿里云弹性计算十五周年发布第九代Intel实例,重新定义企业级计算“新标杆”
2025年4月9日,阿里云在AI峰会上发布第九代企业级实例g9i,搭载英特尔®至强®6处理器,性能全面提升:算力提升20%、三级缓存提升50%、全核睿频达3.6GHz,同时价格较上代降低5%。该实例集成英特尔®AMX加速引擎,新增FP16支持,AI处理效率显著提升。蚂蚁数科的ZOLOZ反欺诈系统部署后,端到端性能提升10%,人脸识别精度损失降低23%。阿里云通过15年技术积累,推出更高性能、更普�
-
孙红雷连发三条祝贺赵心童:心花怒放 一起庆祝一下
5月6日,中国选手赵心童在斯诺克世锦赛决赛中以18比12战胜马克·威廉姆斯,成为中国首位、亚洲首位斯诺克世锦赛冠军。丁俊晖在社交媒体发文祝贺,称这是中国斯诺克几代人共同的梦想实现。演员孙红雷也连发动态表达激动之情,称赞赵心童赛场表现大气沉稳。这一历史性突破标志着中国斯诺克运动迈上新台阶,引发国内体育界热烈反响。