近日，Character AI 与耶鲁大学的研究团队联合推出了一款名为 Ovi 的新型音画同步视频生成技术。这一开源项目标志着音频和视频生成技术的一次重大突破，打破了以往音画生成的传统方式。
Ovi 采用了一种创新的双骨干交叉模态融合架构，将音频和视频视为一个不可分割的整体。在这个系统中，音频和视频的处理过程是并行的，彼此之间进行深度交流，从而实现了音画的完美同步。这一设计理念彻底改变了以往先生成画面再添加声音或反之的做法，解决了音画不同步的问题。
在 Ovi 的架构中，有两个功能相同的分支，分别负责处理视频和音频。这两个分支采用了相同的扩散变换器架构，使得音频与视频在生成过程中能够直接互动，消除了不必要的参数和计算开销。这种实时的信息交互使得 Ovi 能够精准地学习音频和视频之间的对应关系，例如嘴唇运动与发音之间的精确匹配。
为了确保音频和视频在时间上的精确对齐，Ovi 引入了一种名为旋转位置嵌入的技术。通过数学缩放，音频和视频的时间步点实现了完美匹配，确保了在生成过程中二者能够同步出现。此外，Ovi 在处理用户输入时，也使用了统一的文本提示策略，以提高生成效果的准确性和丰富性。
在数据集的构建上，Ovi 团队设计了复杂的处理流程，确保了训练数据的多样性和高质量。他们利用音视频对的数据集和纯音频数据集相结合的方式，为模型提供了全面的学习基础。这种严谨的训练方案为 Ovi 的成功奠定了坚实的基础。
github:https://github.com/character-ai/Ovi
划重点:
🌟 Ovi 是 Character AI 与耶鲁大学联合开发的一款开源音画同步视频生成技术。
🎥 采用双骨干交叉模态融合架构，实现音频与视频的实时互动和完美同步。
📊 团队构建了高质量、多样化的数据集，以支持 Ovi 的训练和应用。