划重点:
🌐 由香港大学、阿里巴巴和蚂蚁集团联合研发AnyDoor，通过一张照片将任何物品传送到另一张图片的世界中。
🚪 AnyDoor为图片编辑开启全新时代，实现零样本对象-场景合成。
🎨 设计师无需为合照缺人而烦恼，AnyDoor让贴图穿进背景图，实现自动摆姿势、站位的「魔法」。
站长之家（ChinaZ.com）12月21日 消息:随着数字时代图像编辑的飞速发展，来自香港大学、阿里巴巴和蚂蚁集团的新成果AnyDoor为图片编辑开辟了一扇全新的时代之门。
这是一项基于扩散技术的创新，具有将目标物体以和谐的方式传送到用户指定位置的神奇能力。与传统模型需要为每个物体调整参数不同，AnyDoor只需进行一次训练，就能在推断阶段轻松适应多样化的物体-场景组合。
这种具有挑战性的零障碍设置要求对某个对象进行充分的特征描述。为此，在常用的身份特征基础上，补充了细节特征，这些特征经过精心设计，既能保持纹理细节，又能允许多样化的局部变化（如光照、方向、姿势等），使对象能够与不同环境和谐融合。
此外，研究人员还提出从视频数据集中借用知识，从中观察单个对象在时间轴上的各种形态，以增强模型的泛化能力和稳健性。大量实验证明，我们的方法在效果上优于现有替代方案，并在虚拟试穿和物体移动等实际应用中展现出巨大潜力。
AnyDoor能实现的效果包括
1. 物体移动: AnyDoor可应用于高级任务，如物体移动，轻松实现场景中物体的位置变换。
比如把这张图里桌面上的位置任意变化:
2. 物体交换: AnyDoor可扩展为进行物体交换，为图像增添更多创意和趣味。
如下图，可以将图中两辆车的位置对调:
3. 多主体合成: 由于AnyDoor对于将物体放置在给定场景特定位置具有高度可控性，因此轻松扩展为多主体合成，创造更加丰富的画面。
比如把下图中所有的宠物狗都放到同一个草地上:
4. 虚拟试穿: AnyDoor可作为虚拟试穿的简单但强大基线。无需复杂的人体解析，能够保留不同衣物的颜色、图案和纹理。试穿衣服也能玩成贴画游戏版本，图中人物换上想要的衣服
这项技术创新为图像编辑领域带来了新的可能性，将在图像合成、效果图像渲染、海报制作、虚拟试穿等多个应用场景中发挥实际作用。
项目网址:https://top.aibase.com/tool/anydoor
论文网址:https://arxiv.org/pdf/2307.09481.pdf
（举报）