要点:
美国女歌星泰勒・斯威夫特（霉霉）一则说中文的短视频在各社交平台火了起来，播放量达到了600多万。1视频里，霉霉操着一口流利、地道的中文，口型也能对得上。
视频作者表示，视频制作中有三个重要的因素:掌握地道的口语翻译、语音克隆和替换嘴型。他没有说明用到的具体模型是什么，但有人尝试后发现，视频背后使用到的 AI 生成工具是 HeyGen。
HeyGen 是诗云科技旗下的一个产品，最初致力于做 AI 数字人生成。HeyGen 为用户提供更加便宜、省时的视频制作方法，打破了传统视频制作的难题。
这两天，美国女歌星泰勒・斯威夫特（霉霉）一则说中文的短视频在各社交平台火了起来。在视频里，霉霉操着一口流利、地道的中文，神情自若，几乎没有早期译制片女主角的那种腔调，口型也能对得上。这么看来，AI 配音真的可以「以假乱真、真假难辨」。
不仅是霉霉，蕾切尔・布罗斯纳安、特朗普、艾玛・沃森、憨豆先生都掌握了一口正宗的中文。此外，小品演员蔡明在吐槽大会上「秀了一段流利的英文」。
视频作者表示，视频制作中有三个重要的因素:掌握地道的口语翻译、语音克隆和替换嘴型，每个步骤都要做好。不过，他没有说明用到的具体模型是什么。
视频火了之后，更多的人开始了新的尝试，也让我们了解到了视频背后使用到的 AI 生成工具 ——HeyGen。HeyGen 是诗云科技旗下的一个产品，成立于2020年。他们最初致力于做 AI 数字人生成，创始人 Joshua Xu 曾在 Snapchat 担任主要工程师，负责机器学习领域。
HeyGen 为用户提供更加便宜、省时的视频制作方法。这打破了传统视频制作中费用高昂、周期长、人员杂乱和设备需求高等问题。 用户只需要上传视频并选择要翻译的语言就行了。HeyGen 会自动完成翻译、语音克隆和嘴型替换等工作。
HeyGen 虽然可以免费试用，但需要等待很长时间。懂技术的小伙伴也可以寻找开源替代方案，比如语音转文字 whisper、文字翻译 GPT、声音克隆 + 生成音频 so-vits-svc、生成符合音频的嘴型视频 GeneFace++。除了中英互换之外，国外还有人尝试将英语翻译成日语，效果同样很不错。
（举报）