来自香港科技大学和清华大学的研究团队推出了一项名为 DimensionX 的全新 AI 框架，仅凭一张图片便能生成充满细节的3D 和4D 场景，为游戏开发、虚拟现实和影视制作等领域带来革命性的突破!
DimensionX的核心魔法是可控视频扩散技术。 它就像一个技艺高超的“空间魔法师”，能够从单张图片中提取空间和时间信息，并将其转化为连续的视频帧。
这些视频帧就像电影胶片一样，记录了场景的各个角度和动态变化，最终组合成完整的3D或4D场景。
为了精准掌控“空间魔法”，DimensionX还配备了两个强大的“魔法棒”: S-Director 和 T-Director。 S-Director 负责空间维度，可以控制视角的移动，就像你拿着相机在场景中自由穿梭一样。
而T-Director 则负责时间维度，可以控制物体的运动，让场景“活”起来。
更厉害的是，DimensionX还可以将这两个“魔法棒”组合使用，生成更加复杂和逼真的场景!
例如，你可以让视角绕着物体旋转，同时物体也在运动，就像你置身于一个真实的4D世界!
当然，DimensionX的“魔法”还不止于此。 它还针对真实场景进行了优化，例如设计了轨迹感知机制，能够处理各种复杂的相机运动，让生成的3D场景更加真实可信。
此外，DimensionX还引入了身份保持去噪策略，可以保证4D场景中物体外观的一致性，避免出现“穿帮”的尴尬情况。
DimensionX的出现，无疑为3D和4D场景生成领域带来了革命性的突破。 它不仅操作简单，效果惊艳，而且应用范围广泛，可以用于游戏开发、虚拟现实、影视制作等多个领域。 相信在不久的将来，DimensionX将带领我们进入一个更加精彩的“空间魔法”世界!
项目地址:https://chenshuo20.github.io/DimensionX/
论文地址:https://arxiv.org/pdf/2411.04928