要点:
D3GA(Dynamic3D Gaussian Splatting)是一项在虚拟角色建模中创新性运用高斯泼溅的技术,旨在创造逼真、动态的虚拟角色,与印象主义艺术运动中的短小、断断续续的笔触相对应。
采用3D Gaussian Splatting(3DGS)技术,相较于基于神经辐射场的方法,D3GA在更高的帧率下呈现更高质量的图像,无需复杂的预处理和准确的3D初始化。
通过基于人体姿势的紧凑输入,包括骨骼关节角度和3D面部关键点,训练了个体特定模型,实现对虚拟角色各种动态部分的驱动。
站长之家(ChinaZ.com)1月2日 消息:近期,一项名为D3GA的技术引起了人们的关注,该技术在虚拟角色建模领域带来了创新。D3GA通过创造性地运用高斯泼溅技术,实现了逼真、动态虚拟角色的构建。这种技术创新是对印象主义艺术运动的借鉴,通过模仿其独特的笔触风格,使虚拟角色呈现出与真实世界更相似的外观。
传统的虚拟角色构建通常要求在训练期间进行准确的3D配准,或者在测试期间需要大量密集的输入图像。然而,D3GA采用了3DGS技术,相较于神经辐射场方法,在更高的帧率下提供了更高质量的图像,并且无需复杂的预处理和准确的3D初始化。这一优势使得D3GA成为一种更为高效的虚拟角色构建方法。
论文链接:https://arxiv.org/pdf/2311.08581.pdf
项目链接:https://top.aibase.com/tool/d3ga
驱动型虚拟角色的构建是D3GA的另一重要方面。通过基于人体姿势的紧凑输入,包括骨骼关节角度和3D面部关键点,研究人员成功训练了个体特定的模型,覆盖了各种身体形状、动作和服装。这使得以后可以通过任何主体的新姿势来驱动虚拟角色,实现更加灵活和个性化的虚拟角色表现。
D3GA的方法概览中提到了采用仅正向映射的方法,避免了反向映射过程中可能累积误差的问题。通过神经表示和cage的扩展,D3GA成功地对虚拟角色的每个动态部分进行了颜色和几何形状的建模。最终的渲染结果在多项指标上表现优异,不仅在PSNR和SSIM上超过了传统方法,还在感知度量LPIPS上取得了显著的成绩。
综合而言,D3GA技术的创新性、基于3DGS的优势、驱动型虚拟角色构建以及采用仅正向映射的方法,使得这一方法在虚拟角色建模领域具有巨大的潜力和前景。未来,D3GA有望为虚拟角色的逼真表现和动态驱动带来更多可能性。
(举报)