谷歌研究院最近推出了一项名为ReCapture的全新技术，这项技术可以让你从全新的视角重新体验你自己的视频。ReCapture技术可以根据用户提供的视频，生成一个带有自定义摄像机轨迹的新版本，这意味着你可以从原本视频中没有的视角观看视频内容，并且还能保持视频中人物和场景的原始运动。
ReCapture 就像是一位神奇的剪辑师，可以根据你提供的视频，生成一个带有全新视角的新版本。 比如说，你用手机拍了一段狗狗玩耍的视频，ReCapture 可以帮你生成一段从狗狗视角拍摄的视频，是不是很神奇？
那么， ReCapture 究竟是如何实现这种“魔法”的呢? 其实，它背后的原理并不复杂。它首先会利用多视角扩散模型或点云渲染技术，根据你想要的新视角，生成一个粗略的视频。 这个粗略视频就像是一块未经雕琢的璞玉，画面可能不完整，时间也不连贯，就像喝醉了酒一样摇摇晃晃。
接下来，ReCapture 会祭出它的秘密武器——“遮罩视频微调”技术，对这个粗略视频进行“精雕细琢”。 这个技术就像是一位技艺高超的工匠，会用两种特殊的工具——空间 LoRA 和时间 LoRA，对视频进行修复和优化。 空间 LoRA 就像是一位“美容师”，负责学习原始视频中的人物和场景信息，让画面更加清晰美观。 而时间 LoRA 则是一位“节奏大师”，负责学习新视角下的场景运动，让视频播放更加流畅自然。
经过这两位“大师”的联手打造，粗略视频摇身一变，变成了一个清晰、连贯、充满动感的全新视频。 不仅如此，为了让视频效果更加完美，ReCapture 还会使用 SDEdit 技术对视频进行最后的润色，就像化妆一样，让视频更加精致细腻。
谷歌的研究人员表示，ReCapture 不需要大量的训练数据，就可以处理各种类型的视频和视角转换。 这意味着，即使你只是一个普通的视频爱好者，也可以用 ReCapture 轻松制作出专业级的“多机位”视频。
项目地址：https://generative-video-camera-controls.github.io/