近日，英伟达宣布开源其生成式 AI 面部动画模型 Audio2Face。这一模型不仅包含了核心算法，还提供了软件开发工具包（SDK）和完整的训练框架，旨在加速游戏和3D 应用中智能虚拟角色的开发。
Audio2Face 通过分析音频中的音素、语调等声学特征，能够实时驱动虚拟角色的面部动作，生成精确的口型同步和自然的情感表情。这项技术广泛适用于游戏、影视制作和客户服务等多个领域。
Audio2Face 模型支持两种运行模式:一种是针对预录制音频的离线渲染，另一种则是支持动态 AI 角色的实时流式处理。为了方便开发者使用，英伟达还开源了多个关键组件，包括 Audio2Face SDK、适用于 Autodesk Maya 的本地执行插件，以及针对 Unreal Engine5.5及以上版本的插件。此外，回归模型和扩散模型也随之开源，开发者可以利用开源训练框架，使用自己的数据对模型进行微调，从而适应特定的应用场景。
目前，这项技术已经被多家游戏开发商广泛采用。游戏开发公司 Survios 在其游戏《异形:侠盗入侵进化版》中集成了 Audio2Face，从而大幅简化了口型同步与面部捕捉的流程。而 Farm51工作室也在其作品《切尔诺贝利人2:禁区》中应用了这一技术，通过音频直接生成细腻的面部动画，节省了大量制作时间，提升了角色的真实感和沉浸体验。该工作室的创新总监 Wojciech Pazdur 对此表示，这一技术可谓 “革命性突破”。
英伟达的这一新举措无疑为开发者们提供了更多的创作工具，也将推动虚拟角色表现的进一步发展。随着技术的不断进步，我们可以期待在未来的游戏和影视作品中看到更加真实和生动的角色表现。
入口:https://build.nvidia.com/nvidia/audio2face-3d
划重点:
🔊 英伟达开源 Audio2Face 模型，旨在提升虚拟角色的面部动画生成技术。
🎮 支持离线渲染和实时流式处理，适用于多种场景。
🌟 已被多个游戏开发商采用，简化了制作流程并提升了角色的真实感。