首页 > 业界 > 关键词  > ReVideo最新资讯  > 正文

AI视频编辑方法ReVideo:可局部修改视频内容和运动轨迹

2024-05-24 15:15 · 稿源:站长之家

划重点:

🔍 在现有的视频生成和编辑方法中,精确和局部的视频编辑仍然是一个巨大的挑战。

🔍 本文提出了一种新颖的方法,通过同时指定内容和运动来实现精确的视频编辑。

🔍 通过三阶段的训练策略和时空自适应融合模块,我们实现了内容和运动控制的集成,具有出色的编辑效果。

站长之家(ChinaZ.com)5月24日 消息:研究人员提出了一种名为 ReVideo 的视频编辑方法,该方法通过指定内容和运动来实现精确的视频编辑。与现有方法不同的是,ReVideo 可以在特定区域进行精确的视频编辑,既可以修改视频内容,也可以修改运动轨迹。

image.png

ReVideo产品入口:https://top.aibase.com/tool/revideo

为了实现这种精确的视频编辑,研究人员提出了一个三阶段的训练策略。首先,他们通过修改第一帧来实现内容编辑。然后,他们通过基于轨迹的运动控制来实现运动编辑,这为用户提供了直观的交互体验。最后,他们提出了一个时空自适应融合模块,用于将内容和运动控制集成在各种采样步骤和空间位置上。

image.png

视频展示如下:

为了解决内容和运动控制之间的耦合和训练不平衡的问题,研究人员采用了逐步解耦的训练策略。他们先从粗到细逐步解耦内容和运动控制。然后,他们通过时空自适应融合模块将内容和运动控制进行集成。实验证明,ReVideo 在准确的视频编辑应用方面具有很好的性能,包括局部改变视频内容、保持内容不变并定制新的运动轨迹、修改内容和运动轨迹等。

ReVideo 是一种具有出色编辑效果的视频编辑方法,它通过指定内容和运动来实现精确的视频编辑。通过三阶段的训练策略和时空自适应融合模块,ReVideo 能够灵活地应用于各种视频编辑应用,并具有良好的性能。这一方法的提出将进一步推动视频编辑领域的发展。

产品入口:https://top.aibase.com/tool/revideo

举报

  • 相关推荐
  • Instagram宣布推出CapCut 克隆版创意视频编辑应用Edits

    Instagram负责人AdamMosseri近日宣布了一款名为Edits的全新创意应用。这款预计于2025年3月13日上线的应用不仅对标字节跳动旗下的CapCut,更致力于为创作者提供更全面的创意工具集。通过Edits的推出,Instagram进一步完善了其创作者生态系统,为内容创作者提供更专业和全面的创作环境。

  • AI日报:国产之光!DeepSeek APP正式上线;潞晨升级Video Ocean V2.0免费高质量;OpenAI组建人形机器人团队

    欢迎来到【AI日报】栏目!这里是你每天探索人工智能世界的指南,每天我们为你呈现AI领域的热点内容,聚焦开发者,助你洞悉技术趋势、了解创新AI产品应用。新鲜AI产品点击了解:https://top.aibase.com/1、潞晨升级免费视频生成模型VideoOceanV2.0,20秒高清大片一键成型在AI技术蓬勃发展的今天,潞晨科技推出的VideoOceanV2.0标志着视频创作的又一次重大飞跃。政策强调人才引进与培养,推动产学研融合,支持数据标注领域的职业资格与技能等级衔接,力求到2027年实现产业规模化和创新能力显著提升,年均复合增长率预计超过20%。

  • Nvidia 的 AI 帝国:看看它投资的顶级初创企业

    没有哪家公司比Nvidia更能充分利用人工智能革命。自两年多前推出ChatGPT以来,该公司的收入、盈利能力和现金储备一路飙升,此后又推出了许多具有竞争力的生成式人工智能服务。尽管这家初创公司在11月又筹集了1.15亿美元,但Nvidia并未参与此轮融资。

  • 联发科与NVIDIA合作 为NVIDIA 个人AI超级计算机设计NVIDIA GB10超级芯片

    联发科近日宣布与NVIDIA合作设计NVIDIAGB10GraceBlackwell超级芯片,将应用于NVIDIA的个人AI超级计算机NVIDIA®ProjectDIGITS。联发科在智能手机、智能电视、Android平板电脑、语音助理设备,以及基于Arm架构Chromebook的芯片出货量皆居行业翘楚,并大力投资多项技术,为各类采用Arm架构SoC的设备提供卓越的AI、通信、多媒体与高能效用户体验。联发科秉持着将AI带到世界各个角落的愿景,在多元产品组合中提供先进的AI功能,包含面向智能手机和平板电脑的天玑系列、智能物联网设备的Genio系列、智能电视的Pentonic系列、基于Arm架构Chromebook的Kompanio系列,以及车用平台天玑汽车座舱系列。

  • 还能再涨23%!AI宠儿NVIDIA成大摩明年首选

    据报道,摩根士丹利最新报告指出,NVIDIA仍是其明年的首选股”。大摩重申了对英伟达股票的增持”评级,并给出了每股166美元的目标价,按照当前水平计算还能再涨约23%。但他们相信到2025年,ASIC的最大用户实际上会转购买GPU,预计GPU明年的表现将明显优于ASIC。

  • 视频号涌现“职业行家”,专业内容不再难变现?

    “做短视频是当前普通人能利用的最大杠杆”,智讯盒子创始人张佳伟近日在新榜视频号的一场直播上说道,视频号已经是创作者最需要关注的渠道了。这场直播的另外两位嘉宾是若愚Roey、李政霖,他们是2024年视频号互选广告的优秀创作者。用户不反感广告,但优质内容才是吸引流量与构建信任的基石,创作者凭借对市场和受众需求的洞察,持续产出独特的内容,会让专业知

  • 国产AI「快」到火爆外网!10秒生成一个视频,网友:我见过最快的AI

    快,着实是有点太快了。就在这两天,一个国产Sora,因为生成视频速度太快,在外网火了一把。在接入Vidu的API之后,Evoke的数据显示,在特定场景的视频生成中,Vidu的模型准确率相比同类视频生成平台提升了超过60%,视频生成时间从270秒大幅缩短至35秒,效率提升了近90%。

  • 通义万相首创生成汉字视频,全面进化称霸VBench!AI视频GPT-3时刻来临

    通义万相视频模型,再度迎来史诗级升级!处理复杂运动、还原真实物理规律等方面令人惊叹,甚至业界首创了汉字视频生成。通义万相直接以84.70%总分击败了一众顶尖模型,登顶VBench榜首。通义万相2.1取得重大突破,让我们有理由相信,AI视频的GPT-3时刻正加速到来。

  • 仅迷你机大小!NVIDIA发布全球最小AI超级计算机:联发科参与

    除了万众焦点的RTX50系列桌面和笔记本显卡,NVIDIA还带来了一款特殊的整机产品,代号ProjectDIGITS”的新一代个人AI超级计算机,身材只有迷你机大小,但可提供千万亿次级的性能,可用于AI大模型的原型设计、微调、运行。它搭载了一颗的超级芯片GB10”,基于BlackwellGPU、GraceCPU的双芯整合,彼此通过NVLink-C2C片间互连。整机功耗未披露,只说使用了标准电源接口。

  • 《大奉打更人》引爆追剧潮,Audio Vivid让打更“更声动”

    由中央电视台、新丽电视、阅文影视联合出品,狂欢者文化传媒承制的奇幻悬疑剧《大奉打更人》正在腾讯视频上线热播,该剧以强大的主演阵容、奇幻悬疑的剧情、出色的视听效果吸引了大量剧迷的关注和讨论,在腾讯视频站内热度值突破30000。尤其是国家广播电视总局行业标准AudioVivid的版本带来“声临其境”的观剧体验,让剧迷紧跟主角王鹤棣的视角,全身心沉浸在大奉世界。想和王鹤棣一起接受“打更”挑战的剧迷们,现在就打开腾讯视频,音效选择臻悦全景声,点亮AudioVivid,享受最沉浸的大奉视听之旅吧!