【中国，深圳， 2025 年 3 月 21 日】在华为中国合作伙伴大会——鲲鹏伙伴产业峰会上，华为联合 openEuler 社区发布全栈式 AI 推理方案。通过这套方案，企业和开发者可在鲲鹏+xPU硬件上，分钟级实现模型部署、天级实现 AI 助手开发，推理性能相较于其他开源方案提升10%-50%。该方案从开发、运行、运行全流程助力企业实现规模部署，实现数智化转型，推动 AI 普惠千行百业。
sysHAX+GMEM：释放鲲鹏+xPU 算力潜能
如今，大模型已经从模型训练阶段转向模型推理和智能体开发阶段，操作系统作为连接软件和硬件的基础软件，在使能模型推理和智能体开发上发挥着不可代替的作用。在硬件上，目前 openEuler 社区已经适配了昇腾、寒武纪、摩尔线程、天数等xPU，并通过 sysHAX，GMEM 等技术实现推理任务吞吐量提升10%-50%：
- sysHAX：通过 NUMA 亲和性优化模型参数、KVCache调度、适配鲲鹏SVE指令集等方式，动态调度鲲鹏CPU与异构算力资源，智能分配 decode 任务，使推理任务吞吐量提升10%-30%。
- GMEM：通过加速器透明超分技术，将主机内存扩展至TB级，大模型推理吞吐量提升50%，提供OS原生malloc接口，仅需百行代码即可接将设备接入 GMEM，开发效率提升 10 倍。
适配流程请参考：https://www.openeuler.org/zh/compatibility/
社区兼容性 SIG 组：https://www.openeuler.org/zh/sig/sig-Compatibility-Infra
oeDeploy：一键分钟级部署模型推理环境
oeDeploy 一键式软件编排部署工具是 openEuler 社区的开源项目，该项目通过编写配置文件即可实现AI框架、驱动、第三方组件部署，极大的简化软件部署流程。oeDeploy 已经支持一键式部署 DeepSeek，将原本需3- 5 天的部署流程缩短至分钟级，极大的提高 DeepSeek 的部署效率。
欢迎开发者贡献自己编写的 oeDeploy 配置文件
配置文件可通过 PR 提交，PR提交地址：https://www.openeuler.org/zh/sig/sig-Compatibility-Infra
EulerCop ilot+RAG：天级开发一个智能体
RAG 即检索增强生成技术。RAG+大模型可以很好的弥补基础模型缺失行业数据、企业数据的不足，使大模型更懂企业业务，是一种非常有效的开发行业智能体应用的方法。openEuler Co pilot System 平台已经支持 RAG，并对 RAG的智能语料治理、多级检索优化等环节进行优化，回答准确率高达 90%。企业和开发者可在本地部署 openEuler Cop ilot System，并输入行业数据，天级实现企业智能体应用的开发。
（推广）