最近，斯坦福大学和麻省理工学院的研究人员共同开发了一种名为 WonderWorld 的 AI 系统，它能够从单张图片实时生成3D 场景。这项新技术使用户可以逐步构建和探索虚拟环境，轻松控制生成场景的内容和布局。
WonderWorld 的最大挑战在于实现快速的3D 场景生成。以往的方法通常需要几分钟到几小时的时间来生成一个场景，而 WonderWorld 则能在仅仅10秒内在 Nvidia A6000GPU 上生成一个新的3D 环境。这种速度使得实时交互成为可能，标志着该领域的重大进步。
WonderWorld 的工作原理是，从输入的图片开始，生成一个初步的3D 场景。接着，系统进入一个循环，交替生成场景图像和相应的 FLAGS 表示。用户可以通过移动相机来控制新场景的生成，并使用文本输入指定想要的场景类型。
值得一提的是，FLAGS 表示由三个层次组成:前景、背景和天空。每一层包含一组被称为 “surfels” 的元素，它们根据3D 位置、方向、比例、透明度和颜色来定义。这些 surfels 通过估计深度和法线图进行初始化，然后经过优化以创建最终的场景。
为了减少场景转换时的几何失真，WonderWorld 采用了一种引导深度扩散过程。这种方法使用预训练的深度图扩散模型，调整深度估计以匹配场景现有部分的几何形状。
实验表明，WonderWorld 在速度和视觉质量方面明显优于以前的3D 场景生成方法。在用户研究中，生成的场景被认为比其他方法生成的场景更具视觉说服力。
虽然 WonderWorld 在速度和视觉质量上显著优于以往的方法，但它仍然有一些局限性。比如，它只能创建前向表面，限制了用户在虚拟世界中的移动角度在大约45度以内。此外，生成的世界目前看起来像是纸片剪影，而在处理像树这样的细节物体时，可能会出现 “洞” 或 “漂浮” 元素的现象。
尽管存在这些限制，研究人员仍然对 WonderWorld 的潜力充满信心，尤其是在游戏开发、虚拟现实和动态虚拟世界的创建方面。用户在研究中评价生成的场景视觉效果更具说服力，显示了这项技术的广泛应用前景。
项目入口：https://kovenyu.com/wonderworld/
划重点:
🌟 WonderWorld AI 能够仅用一张照片实时生成3D 场景，速度快至10秒。
🎮 该系统支持用户控制场景内容和布局，适合游戏开发和虚拟现实应用。
🚧 当前技术存在一定局限，主要表现为只能生成前向表面和细节处理不足。