首页 > 业界 > 关键词  > DreamMat最新资讯  > 正文

DreamMat:根据文字描述生成高质量基于物理渲染的材质

2024-06-05 10:24 · 稿源:站长之家

划重点:

DreamMat 是一种工具,可以根据文字描述生成高质量 PBR(基于物理渲染) 材质。

它采用几何和光照感知的扩散模型,确保生成的材质与给定的几何和光照环境匹配。

DreamMat 消除了常见的固定阴影效果,使渲染效果更真实,适用于游戏和电影制作等领域。

站长之家(ChinaZ.com)6月5日 消息:近期研究取得突破,通过2D 扩散模型在未纹理的原始网格上生成外观。然而,这些方法生成 RGB 纹理时往往包含不必要的固定阴影效果,在下游应用中导致渲染效果不真实。与其只生成 RGB 纹理,生成物理渲染(PBR)材质可能是一个更有前景的解决方案。然而,直接从2D 扩散模型提取 PBR 材质参数仍然存在材质分解不正确的问题,例如在反照率中固定的阴影效果。

效果展示视频如下:

DreamMat 应运而生,致力于解决上述问题,通过文字描述生成高质量 PBR(基于物理渲染) 材质。发现大规模2D 扩散模型只能训练生成最终着色颜色,导致在提取过程中材质分解不足的问题。

image.png

DreamMat产品入口:https://top.aibase.com/tool/dreammat

为了解决这个问题,其大致流程为,首先通过微调新的光照感知2D 扩散模型,使其根据给定光照环境条件,生成特定光照条件下的着色结果。然后,在材质提取过程中应用相同的环境光,DreamMat 可以生成高质量的 PBR (基于物理的渲染)材质,不仅与给定的几何一致,而且在反照率中不包含任何固定的阴影效果。

image.png

大量实验表明,通过这种方法生成的材质对用户更具吸引力,并在渲染质量上显著优于基准方法,适用于游戏和电影制作等下游任务。

举报

  • 相关推荐
  • 大家在看
  • Meta推出AI新模型:1分钟内生成高质量3D素材

    科技巨头Meta震撼发布了其前沿AI创新成果Meta3DGen,这一突破性技术能够在极短的时间内,即不足1分钟,迅速孕育出令人瞩目的高质量3D素材,极大地加速了创意内容生产的进程。Meta表示,3DGen不仅拥有令人咋舌的速度,更在细节处理上展现出了非凡实力。业内专家普遍认为,Meta3DGen及其所搭载的PBR技术,无疑将引领3D内容创作领域的新一轮革命,为游戏、电影、广告等多个行业带来前所未有的创作自由与效率提升,推动数字娱乐与创意产业的蓬勃发展。

  • 小赢科技荣获金融赋能民营经济高质量发展典范

    2024年6月5日,由中国中小企业协会、华夏时报社联合举办的“2024年经济高质量发展研讨会”在北京北人亦创国际会展中心顺利召开。会上发布了“2024金融助力民营经济高质量发展”典型案例,包括“小赢科技·小店助力计划”在内,共31家具有代表性的金融机构典型案例获颁。本次凭借“小店助力计划”获评2024金融赋能民营经济高质量发展典型案例荣誉,相信小赢科技未来将不断创新、加速助力,充分发挥“纽带”作用,全方位、多角度为实体经济高质量发展贡献金融科技力量。

  • 谷医堂:在传承与创新中前行,为中医药高质量发展贡献力量

    在当今社会,随着生活节奏的加快与工作压力的攀升,加之饮食结构的失衡与生活作息的紊乱,不孕不育这一难题悄然成为了众多男性心头难以言说的痛楚。我国不孕不育症的发生率正逐年攀升,其中,约有6.25%的育龄期男性面临着不育的挑战。谷医堂不仅帮助众多男性解决了不育的困扰,更在推动中医药领域的高质量发展中发挥了重要作用。

  • 当《开心消消乐》遇上 AI 推理,我们找到了高质量关卡背后的原因!

    随着AI热潮席卷各行各业,其落地应用已经成为企业技术研发升级的工作重心。人工智能应用的升级不仅需要软件层面的升级迭代需要大规模基础设施的支撑。英特尔与腾讯云的成果也将惠及更多游戏企业,持续为他们提供助力,满足轻资产、重人力类型的游戏厂商在激烈的竞争环境中降本增效的迫切需求。

  • 纷享AI重磅发布,AI+CRM赋能企业高质量增长

    纷享销客作为国产CRM中连续四年保持近40%增长的领先品牌,一直在探索AICRM领域的数字化变革。7月10日,纷享销客AI产品正式上线。无论是在营销赋能、数据分析决策还是客户满意度,纷享销客AI都将成为企业的得力助手。

  • 维达国际:聚焦高质量发展,持续提升ESG管理水平

    作为业内绿色生产的先行者之一,维达国际一直致力于构建稳定、良性的商业运作体系,将“坚持负责任的全局性选择,为企业、人类和环境创造今日以及未来的价值”列为企业核心原则的首位。目前,其业务范围涵盖了生活用纸、女性护理、成人失禁护理、婴儿护理等多个品类,是一家高质量、多元化的卫生用品企业。多年来维达国际在环境保护上一直不遗余力,始终坚持�

  • 数智化浪潮下的小熊电器:造高质量产品,全局提效率

    时间长河里,一天称不上漫长,却能制造超23万个零部件,0.14秒也并不短暂,但足够完成一次电子元件的嵌入。在小熊电器智能小家电制造基地一期项目,这样的场景每时每刻都在上演,一排排舞动的机械臂,实时变化的数据看板,以及人机协同高效自动化生产线,诉说着小熊电器的数智制造故事。小熊电器也为整个行业提供了“智改数转”参考标杆,引领小家电行业迈向高质量发展之路。

  • 小赢卡贷积极响应“五篇大文章”战略,助力民营经济高质量发展

    在当今日新月异的金融环境中,如何更好地服务民营经济、推动产业升级、实现经济高质量发展已成为业界热议的话题。一场聚焦这些核心议题的金融研讨会成功举办,业内专家、学者和企业家齐聚一堂,共同探讨金融服务的未来方向与发展路径。小赢卡贷也将不断创新金融服务模式和产品,为客户提供更加优质、便捷的金融服务,推动金融行业的持续健康发展。

  • 棕榈股份:科技创新引领高质量发展,稳健前行助力行业发展

    科技创新是企业发展第一生产力,近年来,棕榈股份依托新质生产力为有力抓手,在绿色科技、乡村振兴、市政工程、地产园林工程等多个领域大力实施“科技兴企”战略,以生态优先、绿色发展为导向探索企业高质量发展新方向、新路径,强化企业科技创新主体地位,充分发挥科技型绿色科技企业引领支撑作用,不断提高企业科创水平,助力企业长远发展。棕榈股份谋定科�

  • 共建行业相关标准体系,云测数据助力AI数据高质量发展

    大模型时代到来,AIGC众多垂直场景落地,以及通用智能、具身智能等前沿领域探索,与高质量、专业化的场景数据密不可分。作为AI认识世界的起点,数据标注本质上是将现实世界信息结构化、数字化,充分发挥数据信息的价值。在助力AI数据标准化体系建设进程中,云测数据将成熟的技术、服务等经验总结,先后参与编制了《智能网联汽车激光雷达点云数据标注要求及方法》、《智能网联汽车场景数据图像标注要求与方法》、《人工智能研发运营一体化能力成熟度模型第一部分:开发管理》、《人工智能研发运营一体化能力成熟度模型第二部分:模型交付》、《面向人工智能的数据交付服务能力成熟度模型》、《人工智能数据集质量管理能力评估方法》等产业相关标准,助力人工智能数据服务在落地领域规范化发展,这也彰显了云测数据在人工智能数据方面的领先实践。

  • hattl:AI驱动的招聘软件,提供个性化职业指导。

    hattl是一个AI驱动的招聘软件,它通过游戏化的个人资料评估和智能筛选,为求职者和企业提供个性化的匹配服务。产品背景信息显示,hattl与Product Crawl合作,并在2024年6月发布了候选人平台。产品的主要优点包括提供真实的技能评估、全面的候选人资料和白标职业门户,以及通过AI技术进行智能人才搜索和筛选。

  • Cherry Studio:Windows/macOS GPT 客户端

    Cherry Studio 是一款适用于 Windows 和 macOS 的 GPT 客户端软件,支持 Intel 和 Apple Silicon 架构。它通过提供高效的 GPT 交互体验,帮助用户在多种场景下提升工作效率。

  • 智海流光AI:一站式AI创作平台,提升写作与创意效率。

    智海流光AI在线写作助手是一款集成了多种AI工具的在线平台,采用国内领先的生成型预训练变换模型(GPT),与Kimi、百度文心一言等合作伙伴共同开发。它支持AI写作、AI绘画、AI视频生成等功能,致力于提升用户的创作效率和质量。

  • Animate3D:3D模型动画生成

    Animate3D是一个创新的框架,用于为任何静态3D模型生成动画。它的核心理念包括两个主要部分:1) 提出一种新的多视图视频扩散模型(MV-VDM),该模型基于静态3D对象的多视图渲染,并在我们提供的大规模多视图视频数据集(MV-Video)上进行训练。2) 基于MV-VDM,引入了一个结合重建和4D得分蒸馏采样(4D-SDS)的框架,利用多视图视频扩散先验来为3D对象生成动画。Animate3D通过设计新的时空注意力模块来增强空间和时间一致性,并通过多视图渲染来保持静态3D模型的身份。此外,Animate3D还提出了一个有效的两阶段流程来为3D模型生成动画:首先从生成的多视图视频中直接重建运动,然后通过引入的4D-SDS来细化外观和运动。

  • 有道小P:AI全科学习助手

    有道小P是一款基于有道子曰大模型的AI全科学习助手,致力于为用户提供个性化的学习体验和高效的学习工具。它结合了先进的人工智能技术,能够针对不同学科和学习需求,提供定制化的学习方案和辅助。

  • 钉钉宜搭:云钉原生低代码平台,让企业构建专属应用更简单

    钉钉宜搭是一款云钉原生低代码平台,具备页面编排、业务模型编排、业务流程编排、服务编排、数据展现及分析等多项核心能力。该产品以简单的拖拽和配置完成业务应用的搭建,并天然具备云原生和钉原生特性。

  • Nero AI:AI图像和视频增强工具

    Nero AI 是一款利用人工智能技术来增强图像和视频质量的在线工具。它通过先进的AI算法,能够提升图像的分辨率和清晰度,修复旧照片,去除背景,甚至生成卡通化或动漫风格的头像。Nero AI 的主要优点包括操作简便、处理速度快、效果显著,适合需要快速提升图像质量的用户。

  • 爬爬飞记:记录你生活中的一切,成为你的完美记忆助手

    爬爬飞记是一款致力于提高用户生活记录效率的应用程序。它通过简洁的用户界面和强大的记录功能,帮助用户捕捉生活中的每一个瞬间,无论是文字、图片还是视频。产品背景信息显示,爬爬飞记注重用户隐私,只有在用户允许的情况下,才会使用大语言模型访问用户数据。

  • 论文智匠:AI助力,轻松搞定论文写作

    论文智匠—AI论文写作大师是一个面向大学生的AI写作平台,通过输入论文题目,AI能够自动生成千字大纲,编辑大纲后,进一步生成论文初稿以及全文。该平台支持多种论文类型,包括毕业论文、期刊论文等,覆盖了广泛的学科领域,如哲学、经济学、法学等。它通过降低AI查重率,帮助用户快速完成论文写作,提高写作效率,同时确保论文的原创性。

  • BRICK.PHOTOS:将照片转化为砖块艺术,提升社交媒体存在感。

    BRICK.PHOTOS是一个在线服务,使用户能够将他们的个人照片转换成具有多种风格的砖块艺术图片。这项技术不仅增加了照片的趣味性和创意,还为社交媒体内容创作提供了新的可能性。产品由@janbuilds设计和构建,提供了快速的转换服务,通常在一小时内完成,并且每张图片都是独一无二的。

  • Praison AI:低代码多代理系统框架

    Praison AI 是一个低代码的集中式框架,旨在简化各种大型语言模型(LLM)应用的多代理系统的创建和编排。它强调易用性、可定制性和人机交互。Praison AI 利用 AutoGen 和 CrewAI 或其他代理框架,通过预定义的角色和任务来实现复杂的自动化任务。用户可以通过命令行界面或用户界面与代理进行交互,创建自定义工具,并通过多种方式扩展其功能。

  • RunwayML App :AI视频创作神器

    RunwayML是一款领先的下一代创意套件,提供了丰富的工具,让用户能够将任何想法转化为现实。该应用通过其独特的文本到视频生成技术,让用户仅通过文本描述即可在手机上生成视频。其主要优点包括: 1. 文本到视频生成:用户只需输入文本描述,即可生成视频。 2. 实时更新:定期推出新功能和更新,确保用户始终能够使用最新的AI视频和图片工具。 3. 无缝资产转移:用户可以在手机和电脑之间无缝转移资产。 4. 多种订阅选项:提供标准、专业和每月1000次生成信用的订阅选项。

  • Sourcer AI:AI驱动的事实核查工具

    Sourcer AI 是一款利用人工智能技术进行在线信息评估的工具。它通过分析文章的语言,即时揭示在线来源的可信度和政治偏见,帮助用户在充满虚假信息的世界中做出明智的决策。该工具的主要优点包括实时评估、透明度高、易于使用等。

  • WeInstaReply:AI驱动的Microsoft Teams消息自动回复平台

    WeInstaReply是一个与Microsoft Teams集成的平台,使用人工智能技术自动化回复收到的消息。用户可以上传自己的知识和业务流程,确保回复的准确性和相关性。该平台支持57种语言,提供7天免费试用,月费3.99英镑,包括200次AI自动回复,不限用户数和内容上传量,还提供客服支持和功能请求优先权。

  • Clean Inbox for Gmail:Gmail插件,使用GPT技术过滤垃圾邮件。

    Clean Inbox for Gmail™ 是一款专为Gmail设计的插件,利用GPT技术帮助用户过滤垃圾邮件,提高邮件管理效率。用户可以一键浏览并安装公共分类,对整个邮件类别进行标签化处理。此外,用户还可以创建自定义的过滤类别,插件能够识别邮件内容并建议过滤规则,避免类似邮件再次进入收件箱。Clean Inbox for Gmail™ 强调隐私保护,保证不会读取用户邮件内容,过滤的邮件不会被删除,只会被标记。

  • 闪念贝壳:用语音记录想法,AI助手辅助思考和行动

    闪念贝壳是一款以语音记录为核心的思考笔记应用,通过AI技术帮助用户捕捉灵感、整理思绪,并指导行动。它支持声音、图片、文本等多种记录方式,能够自动整理、格式化内容,并添加标签和标题。此外,用户可以与AI进行讨论,获取阅读建议和行动指导,从而提升思维认知。产品设计背后强调随时随地自由记录,帮助用户从0到1开启创作,并将初稿导入其他应用进行进一步编辑。

  • Mathstral-7B-v0.1:专注于数学和科学任务的模型

    Mathstral 7B 是一个专注于数学和科学任务的模型,基于 Mistral 7B。该模型在数学和科学领域的文本生成和推理方面表现出色,适用于需要高度精确和复杂计算的应用场景。模型的开发团队包括多位专家,确保了其在行业内的领先地位和可靠性。

  • Mamba-Codestral-7B-v0.1:高性能的开源代码模型

    Mamba-Codestral-7B-v0.1 是 Mistral AI Team 开发的基于 Mamba2 架构的开源代码模型,性能与最先进的基于 Transformer 的代码模型相当。它在多个行业标准基准测试中表现出色,提供高效的代码生成和理解能力,适用于编程和软件开发领域。

  • financial datasets:为开发者设计的股市API

    financial datasets是一个为开发者设计的股市API,提供超过15000家公司的基本数据。用户只需为实际使用的数据付费,无需订阅、签订合同或受到使用限制。

  • Qwen2-Audio:阿里云推出的大型音频语言模型

    Qwen2-Audio是由阿里云提出的大型音频语言模型,能够接受各种音频信号输入,并根据语音指令进行音频分析或直接文本回复。该模型支持两种不同的音频交互模式:语音聊天和音频分析。它在13个标准基准测试中表现出色,包括自动语音识别、语音到文本翻译、语音情感识别等。

今日大家都在搜的词:

热文

  • 3 天
  • 7天