首页 > 业界 > 关键词  > GauHuman最新资讯  > 正文

2分钟建模!AI框架GauHuman:实现高质量3D人体快速重建和实时渲染

2024-01-11 09:37 · 稿源:站长之家

**划重点:**

- 🌐 南洋理工大学与商汤科技的S-Lab团队推出GauHuman,基于Gaussian Splatting实现高质量3D人体快速重建和实时渲染。

- ⚡ GauHuman在1~2分钟内完成建模,每秒渲染高达189帧,超越了现有方案,应用前景广泛,涵盖游戏、电影、虚拟现实等领域。

- 🚀 通过SMPL参数和神经网络,GauHuman有效处理单目人体视频,快速生成高质量3D数字人,开创了3D人体建模新局面。

站长之家(ChinaZ.com)1月11日 消息:南洋理工大学与商汤科技的S-Lab团队近日发布了一项令人振奋的研究成果,推出了基于Gaussian Splatting的高效3D人体建模框架,被命名为GauHuman。该框架在快速重建和实时渲染方面取得了显著的突破,为数字领域的人体建模提供了高效解决方案。

GauHuman的主要特点之一是其在短时间内完成3D人体建模的能力。通过利用Gaussian Splatting技术,该框架仅需1到2分钟即可完成对单目人体视频的建模,这一速度远远领先于现有的方案。不仅如此,GauHuman还实现了高达189帧每秒的实时渲染,为用户提供更加流畅和逼真的体验。

image.png

这一框架的应用前景也非常广泛,覆盖了游戏、电影制作、虚拟现实等多个领域。用户只需提供一段单目人体视频以及相应的相机参数和人体动作体形参数(SMPL),即可在短时间内完成对3D数字人的高质量建模。这使得GauHuman在数字创意领域具有巨大的潜力,为创作者提供了更灵活、高效的工具。

GauHuman的建模框架基于Gaussian Splatting,并受到了之前人体神经辐射场(Human NeRF)的启发。通过对标准空间下的3D人体进行建模,再利用线性蒙皮算法(Linear Blend Skinning,LBS)将其转换到目标空间,GauHuman有效地解决了传统方法中的一些难题。在优化算法方面,GauHuman通过3D高斯球的初始化、分裂/克隆/合并操作以及剪枝等手段,进一步提高了建模效率和质量。

在实验中,GauHuman在ZJU_MoCap和MonoCap两个单目人体数据集上进行了比较,与多个先进的3D人体重建方法相比,包括NB、AN、AS、HumanNeRF等,GauHuman在PSNR、SSIM和LPIPS指标上表现出色,验证了其在性能上的卓越。

研究团队表示,虽然GauHuman已经取得了显著的成果,但仍存在一些待解决的问题,如如何从3D高斯中提取人体mesh以及从单目视频中恢复3D人体的细节等。不过,他们对GauHuman的未来发展充满信心,同时已经将代码完全开源,鼓励广大开发者共同参与,共同推动这一领域的研究和创新。

**参考链接:**

[GauHuman论文]https://arxiv.org/abs/2312.02973

[项目主页]https://top.aibase.com/tool/gauhuman

[代码开源]https://github.com/skhu101/GauHuman

举报

  • 相关推荐
  • 大家在看
  • DiffHuman官网体验入口 3D人体建模软件使用方法教程指南

    DiffHuman是一种概率性的光度逼真的3D人体重建方法。它可以从单张RGB图像预测一个3D人体重建的概率分布,并通过迭代降噪采样多个细节丰富、色彩鲜明的3D人体模型。要获取更多详细信息并开始使用DiffHuman,请访问DiffHuman官方网站。

  • SurMo官网体验入口 AI人体渲染动态建模工具使用地址

    SurMo是一种新的动态人体渲染范式,通过联合建模时间运动动力学和人体外观,在一个统一的框架中实现高保真的人体渲染。该方法采用基于表面的三平面表示法高效编码人体运动,并设计了物理运动解码模块和4D外观解码模块,能够合成时变的人体外观效果,如衣服皱褶、运动阴影等。要获取更多详细信息并开始您的动态人体渲染之旅,请访问SurMo官方网站。

  • 港大与浙大联合研发SC-GS模型 鼠标拖拽实时可编辑3D重建

    在数字资产创造和3D重建领域,香港大学CVMI实验室与3D大模型公司VAST以及浙江大学的联合研究团队提出了一项突破性成果——SC-GS模型。这一模型不仅在新视角合成领域掀起了革命性浪潮,更在动态场景的实时交互编辑方面展现了巨大潜力。他们期待在2024年看到更多基于高斯溅射技术的创新工作和探索。

  • 聚焦绿色低碳高质量发展,中成空间这样答题

    在数字化转型与绿色发展的时代背景下,全球经济深入发展,产业结构持续升级,新质生产力的培育和发展已成为推动经济社会高质量发展的核心动力。作为行业科技创新的领跑者,中成空间打造“气膜”特色品牌,气膜产品凭借其领先的科研技术、创新实践和环保理念,为新质生产力的发展注入强大动力,为港口码头、矿产原采、文体科技、商旅文化等领域的转型升级和高质量发展增添创新动能。中成空间将持续发挥其在新质生产力发展中的重要作用,助力各行业迈向更高层次的转型升级和高质量发展,同时也为构建更绿色、智能、高效的产业生态贡献企业力量。

  • TOXCL:用于检测和解释隐性有毒言论的统一AI框架

    社交媒体上的毒性言论可能会像野火般蔓延,特别是针对个人和边缘化群体。明显的仇恨言论相对容易被发现,但隐含毒性——依赖于刻板印象和编码语言不是明显的侮辱——提出了更为棘手的挑战。但通过谨慎使用,它为赋予边缘化声音权力和遏制网络上的压制性言论提供了一条道路。

  • Diffusion-RWKV官网体验入口 AI生成高质量图像工具使用地址

    Diffusion-RWKV是一种基于RWKV架构的扩散模型,旨在提高扩散模型的可扩展性。它针对图像生成任务进行了相应的优化和改进,可以生成高质量的图像。欲了解更多详细信息并开始使用Diffusion-RWKV,请访问Diffusion-RWKV官方网站。

  • Spline发布3D生成工具AI 3D Generation 支持文/图生3D模型及混合编辑3D模型

    Spline的最新3D生成工具的发布,标志着3D设计领域的一次重大进步。这款在线3D编辑工具不仅支持从文字和图片生成3D模型能够混合和编辑3D模型,为用户提供了一个全面强大的3D设计解决方案。这意味着用户可以始终接触到行业的最新趋势,并将这些新功能应用到自己的项目中,保持创作的前沿性和创新性。

  • BOE(京东方)发布2023年年报 稳定经营促进高质量发展

    4月1日,京东方科技集团股份有限公司发布2023年年度报告,全年实现营业收入1745.43亿元,归属于上市公司股东的净利润25.47亿元,扣除非经常性损益后的净利润同比增长71.74%,营业收入和扣除非经常性损益后的净利润实现逐季度提升,全年保持稳定经营,为2024年公司高质发展奠定了良好的基础。在“屏之物联”发展战略下,BOE以“聚焦主业、高质发展”为原则,在实现显示业务持续领先的同时,“14N生态链”发展架构的其他业务板块均亮点纷呈,其中物联网创新、传感、MLED、智慧医工业务营收分别同比增长13.30%、32.13%、81.42%、26.71%,并在柔性、电竞、车载等多个细分领域叩响2024首季“开门红”,经营质量持续提升。2024年是BOE面向下一个三十年的开局之年,BOE将始终秉持“屏之物联”的发展战略,推动显示技术与物联网技术、数字技术深度融合,以创新科技加快发展显示产业新质生产力,全力构建“PoweredbyBOE”的产业价值创新生态,推动经营业绩稳健增长,引领并带动全产业链的高质发展与价值创造。

  • 天九共享助推托育服务高质量发展 为家庭提供更好的服务

    育儿难题和养老服务需求日益凸显。越来越多的年轻人在结婚生娃后或多或少都会遇到育儿难题,一是因为没有经验,二是很多双职工家庭没人带娃,此外还存在年轻人与长辈教育观念有一定矛盾分歧等问题,这使得高质量的托育服务供不应求。天九共享集团作为享誉中外的创新企业加速平台,积极借助平台资源和能力,持续助力托育养老行业创新和加速增长,推动托育养老服务优质发展,为儿童和家庭提供更好的服务,同时也为行业发展注入新的活力。

  • Parler-TTS:一个高质量文本到语音(TTS)模型

    一个名为Parler-TTS的全新开源项目引起了业界的广泛关注。Parler-TTS是一个高质量的文本到语音模型,它能够生成听起来非常自然的语音,为用户提供了前所未有的语音合成体验。项目团队还提供了交互式的演示和详细的训练指南,帮助用户快速上手并根据自己的需求对模型进行定制。

今日大家都在搜的词: