阿里巴巴再次引领AI技术潮流，推出了EMO，这是一个AI肖像视频生成框架，能够通过图像和音频生成富有表现力的人像视频。EMO具有让头像唱歌的功能，颇具趣味性。（阿里巴巴EMO地址见文末）
它独特之处在于能够利用单一的参考图像和音频来生成丰富的面部表情和头部姿势变化的肖像视频，且视频长度可根据音频而定，保持角色身份的一致性。EMO是一个纯视觉解决方案，无需XML和系统元数据，操作范围广泛，并配备多种视觉感知工具用于操作定位。
目前官方只公布了项目演示和代码，试玩地址还未上线，请耐心等待~
EMO能够通过输入单一的参考图像和声音音频，如说话和唱歌，生成具有表现力的视频，其中的嘴型还可以与声音匹配。这表明EMO能够处理任意语音和图像输入，支持任意语速和图像，实现高度个性化的视频内容生成。甚至可以制作各种风格的歌唱视频，仅需一张艺术家的图片即可，极具想象力!
EMO的工作原理主要分为两个阶段:帧编码和扩散过程。在帧编码阶段，部署了ReferenceNet从参考图像和运动帧中提取特征，而在扩散过程阶段，则是预训练的音频编码器处理音频嵌入。面部区域蒙版与多帧噪点集成在一起，控制面部图像的生成，并应用两种形式的注意力机制:参考注意力和音频注意力。
EMO的主要功能包括将静止照片变成会说话或唱歌的视频，表情和头动作看起来真实自然，支持多种语言和风格，能跟上快节奏，以及模仿不同人的表现。
EMO的应用场景广泛，可用于同步声音配合，塑造栩栩如生的人物，创建吸引眼球的教学资源，赋予虚拟助理人性化特质，增添视频会议的魅力和个性，以及创作印象深刻的营销内容。
在官网上，用户可以欣赏到EMO生成的惊艳视频，尽管目前无法亲身体验，但EMO的出现无疑为AI技术的发展注入了新的活力。如果对AI或编程感兴趣，不妨关注EMO的相关动态。
EMO下载地址:https://humanaigc.github.io/emote-portrait-alive/
（举报）