首页 > 业界 > 关键词  > Lumiere最新资讯  > 正文

谷歌发布视频生成模型Lumiere 运动幅度和一致性表现良好

2024-01-24 13:48 · 稿源:站长之家

站长之家(ChinaZ.com)1月24日 消息:Lumiere 是谷歌发布的第三个视频生成模型,这次的模型演示视频质量非常高,运动幅度和一致性表现也很好。除了视频生成,该模型还支持各种视频编辑和生成控制能力。

Lumiere 是一款先进的模型,专门用于将文本转换为视频,这在视频合成领域是一大挑战。为了实现这一目标,谷歌采用了一种创新的空间-时间 U-Net 架构。

image.png

项目地址:https://top.aibase.com/tool/lumiere

这种架构能够一次性完成整个视频时长的生成,与传统视频模型不同。传统模型通常是先合成关键的远程帧,然后通过时间上的超级分辨率技术来处理,这种方法难以保持视频的全局时间连贯性。

Lumiere 通过在空间和关键的时间维度进行上下采样,并利用预先训练好的文本到图像扩散模型,使得该模型能够直接生成全帧率、低分辨率的视频,并且在多个空间-时间尺度上进行处理。

该模型在将文本转换成视频方面取得了领先成果,并证明了该设计能够轻松应用于各种内容创作和视频编辑任务,包括将图像转换为视频、视频修补和风格化视频创作。

举报

  • 相关推荐
  • 大家在看

今日大家都在搜的词:

热文

  • 3 天
  • 7天