首页 > 业界 > 关键词  > Adobe最新资讯  > 正文

Adobe发布创新的DMV3D方法 单个A100生成3D图像只需30秒

2023-11-27 13:45 · 稿源:站长之家

要点:

1. Adobe研究院和斯坦福大学的研究者提出了一种基于Transformer的3D生成方法DMV3D,利用单个A100GPU仅需30秒即可生成各种高保真3D图像。

2. DMV3D是一种全新的单阶段全类别扩散模型,通过2D多视图图像扩散、3D NeRF重建和渲染的集成,实现端到端的训练,避免了传统3D生成方法中的问题。

3. 通过使用稀疏的多视图投影作为训练数据,DMV3D能够在单个图像或文本输入的情况下实现3D生成,取得了在单图像3D重建方面的State-of-the-Art(SOTA)结果,超越了先前方法。

站长之家(ChinaZ.com)11月27日 消息:近期,Adobe研究院和斯坦福大学的研究者推出了一项创新的3D生成方法,命名为DMV3D。通过基于Transformer的新型单阶段全类别扩散模型,该方法能在单个A100GPU上仅需30秒的时间内生成高保真3D图像。DMV3D通过将2D多视图图像扩散、3D NeRF重建和渲染集成到一个端到端的训练过程中,成功避免了传统方法中的问题。

image.png

论文地址:https://arxiv.org/pdf/2311.09217.pdf

官网地址:https://justimyhxu.github.io/projects/dmv3d/

这项研究的关键在于使用稀疏的多视图投影作为训练数据,以解决传统3D生成方法中存在的模糊和难以去噪的问题。相比之下,DMV3D展示了在单个图像或文本输入的情况下实现3D生成的能力。通过固定一个稀疏视图作为无噪声输入,并对其他视图进行类似于2D图像修复的降噪,DMV3D能够在30秒内生成各种高保真3D图像,这一成果超越了先前基于SDS的方法和3D扩散模型。

研究者还介绍了DMV3D的训练和推理过程,包括基于重建的多视图降噪器的构建、多视图扩散和去噪的方法以及模型的时间和相机调节。此外,通过引入文本或图像的条件降噪器,DMV3D实现了可控的3D生成,为无条件生成模型提供了更多可能性。

这一创新方法的提出对于AI视觉领域的3D生成研究具有重要意义,不仅在技术上解决了传统方法的问题,而且在性能上取得了SOTA的成果。该研究为未来的VR、AR、机器人技术和游戏等应用领域提供了新的可能性。

举报

  • 相关推荐
  • 日销破千元!AI生成3D挂件,被我们卖爆了

    先说结论:我们花15天做的AI3D挂件,在线下卖爆了,单日营收破千元!故事的开始,是因为我们发现把AI3D打印手办做成一门小生意的可行性越来越高,这也激发了我们的“搞钱基因”。再加上前不久新榜在上海举办了「新榜内容节」,一拍即合,我们于是做了一批模型去大会现场摆摊试水!最后结果还不错,单日最高收入突破1000元,是我们“创业史”上的一个高光表现。欢迎大家

  • 10倍精度升级!腾讯混元3D模型v2.5版本发布

    腾讯混元3D模型升级至v2.5版本,建模精度和贴图真实度显著提升。新版本参数体量从1B增至10B,有效面片数增加超10倍,支持1024几何分辨率。纹理系统支持4K高清贴图和凹凸细节,率先支持多视图生成PBR模型。针对动画场景优化骨骼蒙皮系统,支持非标准姿态自动绑定。新增文生/图生3D减面模型、多视图建模模板等专业工作流。混元3D v2.5已全面更新至腾讯AI创作引擎,免费生成额度提升至每日20次,并正式上线腾讯云API面向企业开放。GitHub开源版本累计Star超1.2万。

  • Adobe 发布 Firefly 系列产品,涵盖片、视频、矢量等

    Firefly 通过在单一空间内提供图像、视频、音频和矢量生成功能,将为基于人工智能的创意制作体验带来革新……

  • AI日报:腾讯混元3D生成模型2.5版本发布;海螺推出图像人物参考功能;百度上线移动端超级智能体心响App

    本文介绍了多款AI领域的新产品和技术进展:1)Kortix-AI推出开源通用AI智能体平台Suna;2)腾讯混元3D生成模型升级至2.5版本;3)海螺AI推出基于单张图像生成多角度角色图像功能;4)百度发布"心响"App整合多智能体协作;5)Nari Labs开源媲美真人的对话语音模型Dia;6)Grok新增视觉处理和多语言支持;7)Genspark推出AI幻灯片工具;8)Character.AI发布让静态图片"说话"的AvatarFX模型;9)pad.ws结合白板和代码编辑器;10)OpenBMB开源社区推出长文本生成模型"卷姬";11)腾讯推出AI阅读助手"企鹅读伴";12)OpenAI有意收购Chrome浏览器;13)字节跳动调整AI产品线布局。这些创新展现了AI技术在自动化、3D生成、语音交互、内容创作等领域的快速发展。

  • ​上海毅速推出第三代模具3D打印专机E3系列,引领模具制造技术革新

    导读:近年来,金属3D打印技术在模具制造领域得到了广泛的应用,模具行业正在迎来一场前所未有的技术变革,随着应用的逐渐深入,模具专用的金属3D打印机应运而生。2025 年 4 月 15 日,上海毅速激光科技有限公司(以下简称“毅速”)正式发布了其第三代模具3D打印专机系列——E3- 420 和E3-520。这一新品的推出,标志着模具制造行业向增材制造迈出了重要一步。毅速E3- 420 �

  • 创想三维十一周年庆典:多款新品发布,共筑3D打印新生态

    4月9日,全球消费级3D打印领军品牌创想三维在中国深圳、美国底特律两地举办“创想三维十一周年庆典暨春季新品发布会”。公司联合创始人陈春、敖丹军、刘辉林、唐京科与来自全球的行业专家、核心经销商合作伙伴、供应链合作伙伴及媒体代表共同见证品牌里程碑时刻。创想三维将持续加码核心技术创新,通过技术突破、生态共建与用户共创,持续推动3D打印技术从“小�

  • 聚首华南,2025下半年增材制造、3D 打印的顶尖展览与活动推荐

    2025年全球3D打印行业将迎来系列盛会。4月西安论坛成功举办后,下半年将迎来深圳Formnext Asia(8月26-28日)、东京论坛(9月25-26日)和法兰克福Formnext展会(11月18-21日)三大国际活动。这些平台将汇聚全球顶尖企业,展示航空航天、医疗健康、汽车工业等领域的最新技术成果,特别关注中国企业的快速成长。法兰克福展会预计吸引超900家展商,中国展商数量有望再创新高。系列活动将搭建全球产业交流平台,推动3D打印技术创新与商业应用深度融合。

  • 字节发布豆包1.5深度思考模型:“实拍级”图像生成

    快科技4月17日消息,据报道,今日,在火山引擎AI创新巡展杭州站的现场,字节跳动旗下火山引擎总裁谭待正式发布了备受瞩目的豆包1.5深度思考模型。谭待指出,豆包1.5深度思考模型在多个关键领域展现出卓越性能。在数学、编程、科学推理这类专业领域中,它能够精准高效地处理复杂问题;在创意写作等通用任务方面,同样表现出色。该模型采用MoE架构,总参数为200B,激�

  • 暗黑破坏神3错误代码395000/300016/30008的解决方法

    暗黑破坏神三 4 月 16 日国服回归上线,开启不删档测试,作为暴雪的经典游戏,这次回归实力不容小觑,各位新老玩家都可以回归游玩了。作为一款经典的aRPG游戏,暗黑破坏神三,以其丰富的剧情,精美的画面和紧张刺激的战斗体验,赢得了很多玩家的喜欢。部分玩家在回归游戏时出现了395000/300016/ 30008 的错误代码,今天就带大家解决这几个错误代码。解决方法一:优化网络

  • 曝iPhone 18 Pro内测屏下3D人脸识别:苹果迈入单挖孔屏时代

    这意味着iPhone 18 Pro系列正式迈入单挖孔屏时代,向安卓主流屏幕形态看齐。需要注意的是,安卓阵营普遍采用单挖孔 屏幕指纹识别方案,而iPhone则是采用屏下3D人脸识别方案,不支持屏幕指纹。

热文

  • 3 天
  • 7天