字节跳动最近推出了一款名为MagicAnimate的人类图像动画框架,基于扩散模型的设计使其在动画制作、游戏设计和虚拟现实等领域具有广泛的应用潜力。(代码及试玩地址见文末)
这一框架的独特之处在于其不仅能够将静态图片转化为动态视频,还支持与文本结合创建动画。
MagicAnimate的主要功能特点包括时间一致性动画,该框架通过运动序列使参考图像动起来,并确保动画在时间上的连贯性,呈现自然流畅的动作,避免突兀的变化。
同时,MagicAnimate在动画化过程中能够保持对原始参考图像的高度忠实度,确保动画中的人物或对象与原图保持一致。
令人瞩目的是,MagicAnimate还具备跨身份动画的能力,即能够使用来自不同视频的运动序列来动画化参考图像。这使得框架能够在一个视频中展示三个身份和两个运动序列的结果。
此外,MagicAnimate还能够处理未见领域的图像,如油画和电影角色,使其执行各种动作,例如跑步或瑜伽。
对于长视频动画的支持,MagicAnimate采用了一个简单而有效的视频融合策略,确保在推理过程中产生平滑的视频过渡。这项技术在各个领域都有着广泛的应用潜力,包括动画制作、游戏设计和虚拟现实。
(举报)