划重点:
⭐️ 该项目致力于从文本指令自动生成卡通角色的纹理设计。
⭐️ 提出了 Make-It-Vivid 方法，通过 UV 空间中的文本生成高质量的纹理贴图。
⭐️ 实验表明该方法在纹理生成方面优于当前方法，可实现高效角色着色和信实的生成。
站长之家（ChinaZ.com）4月3日 消息:在创造生动的3D动画角色时，面临着这样的挑战，除了要满足特定领域的高要求比如角色需要有独特风格和丰富细节，还缺乏高质量的数据支撑。现有方法通常无法生成具有丰富细节，和过度自然的纹理，使得角色看起来不真实，不够生动。
因此，来自上海交通大学的海AI实验室和清华大学的研究团队，研究着眼于基于输入指令为卡通角色自动生成纹理设计。为了解决领域特定需求和高质量数据不足的挑战，他们提出了 “Make-It-Vivid” 方法，这是首次尝试从文本中在 UV 空间生成高质量纹理。
这个框架能够根据文本描述自动生成高质量的3D纹理。该方法通过使用视觉问答代理生成了详细的文本 - 纹理配对数据，为3D 角色准备了数据。然后，他们定制了一个预训练的文本到图像模型，以模板结构生成纹理地图，同时保留自然的2D 图像知识。此外，为了增强细粒度细节，他们提出了一种新颖的对抗学习方案，缩短了原始数据集与真实纹理领域之间的域差。
大量实验证明，他们的方法优于当前的纹理生成方法，实现了高效的角色纹理处理和根据提示生成忠实的结果。此外，他们展示了各种应用，如域外生成和纹理风格化。他们还提供了一个高效的生成系统，用于自动文本引导的纹理角色生成和动画。
这一方法接受一对数据作为输入，包括一个纹理地图、相应的文本描述 P 和网格模型 M。他们对预训练的文本到图像扩散模型的低秩适配器∆θ 进行微调，以生成高质量 UV 纹理。为了提高合成纹理的质量和感知保真度，他们引入了对抗训练来增强纹理细节。他们利用由 ControlNet 生成的渲染深度条件的合成可信图像作为指导，引导这种对抗性训练。
该项目的代码即将发布，项目入口:https://top.aibase.com/tool/make-it-vivid
（举报）