近日，字节跳动推出一款最新肖像动画技术X-Portrait2，旨在以超低成本和高效的方式创造富有表现力和逼真的角色动画。用户只需提供静态肖像图像和表现驱动视频，X-Portrait2即可通过将视频中的表情转移至肖像中生成动画视频，从而简化了传统动作捕捉和角色动画的复杂流程。
该技术的核心在于其先进的表情编码器模型，该模型经过大规模数据集的训练，能够隐式编码输入中的微小表情。结合强大的生成扩散模型，X-Portrait2可以生成流畅且极具表现力的视频，传输演员细微的面部表情，甚至包括撅嘴、吐舌头、鼓起脸颊和皱眉等挑战性表情。同时，生成的视频在情感表现上也保持高保真度。
在训练表情编码器时，开发团队确保外观和动作的强分离，使编码器专注于视频中与表情相关的信息。这种设计使得模型能够实现跨风格和跨领域的表情迁移，适用于现实故事讲述、角色动画、虚拟代理和视觉效果等多种场景。
与现有的最先进方法如 X-Portrait 和 Runway Act-One 相比，X-Portrait2在快速头部动作、微小表情变化和个人情感传递方面展现出更高的准确性，这些方面对于高质量的动画内容创作至关重要，例如动画和电影制作中的动画内容。
地址：https://byteaigc.github.io/X-Portrait2/