Google Research最近推出了一款名为VideoPoet的大型语言模型（LLM），旨在解决当前视频生成领域的挑战。该模型的创新之处在于将语言模型应用于视频生成，支持多种任务，例如文本到视频、图像到视频、视频风格化、修复和修复以及视频到音频。
点击前往VideoPoet官网体验入口
与目前主流的模型不同，VideoPoet将这些视频生成任务融合在一个大型语言模型中，而不是依赖于针对每个任务分别训练的组件。
VideoPoet通过多个分词器进行训练，包括MAGVIT V2 用于视频和图像，以及SoundStream用于音频。这使得VideoPoet能够学习跨视频、图像、音频和文本模态的知识。通过将模型生成的令牌转换为可视化表示，VideoPoet可以输出动画、风格化的视频，甚至生成音频。该模型还支持文本输入，以指导文本到视频、图像到视频等任务的生成。
为了展示VideoPoet的多功能性，研究人员提供了一些生成示例，包括根据文本提示生成可变长度的视频，将输入图像转化为动画视频，以及生成独特风格的视频。最令人印象深刻的是，VideoPoet还可以生成音频，实现了从单一模型生成视频和音频的目标。
研究人员指出，VideoPoet的训练方式使其具有生成较长视频的潜力。通过在上一个视频的最后 1 秒的基础上预测下一个 1 秒，VideoPoet可以实现视频的不断延伸。此外，模型还支持对已生成视频进行交互式编辑，用户可以改变物体的运动，实现不同的动作，从而具有高度的编辑控制。
评价结果显示，VideoPoet在文本到视频生成方面表现出色。人们选择VideoPoet中24-35%的示例比竞争模型更好，而竞争模型的这一比例为8-11%。评分者还更喜欢VideoPoet中41-54%的示例，因为它们的动作更有趣，而其他模型的这一比例为11-21%。
作为一款大型语言模型，VideoPoet集成了多种视频生成任务，为零镜头视频生成带来了新的可能性，为艺术创作、影视制作等领域提供了潜在的创新机遇。
您可以点击此处访问VideoPoet官网体验入口。
（举报）
