首页 > 业界 > 关键词  > CamCo最新资讯  > 正文

CamCo:可控制相机的3D 一致图像到视频生成

2024-06-05 14:50 · 稿源:站长之家

划重点:

🔍 提供了一个可控制相机姿态的图像到视频生成框架

🔍 引入 Plücker 坐标和极线约束注意力,实现了三维一致性

🔍 通过结构光算法对真实世界视频进行微调,改进了对象运动的合成效果

站长之家(ChinaZ.com) 6月5日 消息:研究提出了一种新颖的可控制相机姿态的图像到视频生成框架 ——CamCo,用于生成高质量、三维一致的视频。通过引入 Plücker 坐标,为预训练的图像到视频生成器提供了精确参数化的相机姿态输入。

产品入口网址:https://top.aibase.com/tool/camco

为了增强生成的视频的三维一致性,研究人员在每个注意力模块中集成了极线约束注意力模块,以对特征图施加极线约束。此外,通过结构光算法对真实世界视频进行微调,以改进对象运动的合成效果。实验结果表明,与之前的模型相比,CamCo 在三维一致性和相机控制能力方面有显著的改进,同时能够有效地生成合理的对象运动。

image.png

CamCo 是一个全新的可控制相机的图像到视频生成框架,可以生成高质量、三维一致的视频。CamCo 通过使用 Plücker 坐标和极线约束注意力块将相机参数注入模型中。研究人员还引入了一个数据筛选流程,用于处理带有动态主体的真实世界视频,并通过这个筛选后的数据集对 CamCo 进行微调,以提高其生成具有相机自我运动和动态主体的视频的能力。

给定一张单独的图片和一个相机序列作为输入,CamCo 模型可以合成符合相机条件并具有三维一致性的视频。我们支持室内、室外、以物体为中心的和文本到图像生成的图片。最后一行的提示为 "一个繁茂的花园,里面有各种颜色的盛开的玫瑰,中间蜿蜒着一条石子路",第一帧的相机姿态以紫色显示。

举报

  • 相关推荐
  • 大家在看

今日大家都在搜的词:

热文

  • 3 天
  • 7天