首页 > 业界 > 关键词  > DMD最新资讯  > 正文

MIT研究员推新AI图片生成框架DMD:AI 单步生成高质量图像 速度快30倍

2024-03-22 09:39 · 稿源:站长之家

划重点:

⭐️ MIT 研究人员开发了一种单步 AI 图像生成器,比传统扩散模型快30倍,同时保持图像质量。

⭐️ 新方法结合了教师 - 学生模型,通过分配匹配蒸馏实现单步图像生成。

⭐️ DMD 框架加速了图像生成,为设计工具、药物发现和3D 建模等领域带来潜在益处。

站长之家(ChinaZ.com)3月22日 消息:在当今人工智能时代,计算机可以通过扩散模型生成自己的 “艺术”,逐步向嘈杂的初始状态添加结构,直到清晰的图像或视频出现。

扩散模型突然变得异常受欢迎:输入几个词,即可体验现实与幻想交汇的梦幻景象。在幕后,这涉及一个复杂、耗时的过程,需要算法多次迭代才能完美图像。

image.png

麻省理工学院计算机科学与人工智能实验室(CSAIL)的研究人员引入了一个新框架,将传统扩散模型的多步过程简化为单步,解决了先前的限制。这是通过一种教师 - 学生模型实现的:教导一个新的计算机模型模仿生成图像的更复杂原始模型的行为。

这种方法称为分配匹配蒸馏(DMD),保留了生成图像的质量,同时实现了更快的生成速度。

DMD 巧妙地包含两个组成部分。首先,它使用回归损失,锚定映射以确保对图像空间的粗略组织,使训练更稳定。接下来,它使用分配匹配损失,确保使用学生模型生成给定图像的概率与其在真实世界中出现的频率相对应。通过利用两个扩散模型作为指导,帮助系统理解真实图像与生成图像之间的差异,并使训练快速的单步生成器成为可能。

该系统通过训练一个新网络来最小化其生成的图像与传统扩散模型使用的训练数据集中的图像之间的分布差异来实现更快的生成。该团队使用预训练网络来简化新学生模型的过程。通过复制和微调原始模型的参数,团队实现了新模型的快速训练收敛,该模型能够使用相同的架构基础生成高质量图像。

在与通常方法的对比测试中,DMD 表现一致。在基于 ImageNet 特定类别生成图像的流行基准测试中,DMD 是第一个单步扩散技术,几乎与原始、更复杂模型的图像媲美,具有非常接近的 Fréchet inception distance(FID)分数,这是令人印象深刻的,因为 FID 是评判生成图像质量和多样性的指标。

此外,DMD 在工业规模的文本到图像生成中表现出色,并实现了最先进的单步生成性能。在处理更棘手的文本到图像应用时,仍然存在一些质量差距,这表明未来还有改进的空间。

DMD 生成的图像性能与蒸馏过程中使用的教师模型的能力密切相关。当前版本使用 Stable Diffusion v1.5作为教师模型,学生继承了一些限制,如渲染文本和小脸部的细节描绘,这表明更先进的教师模型可能进一步提升 DMD 生成的图像。

论文网址:https://arxiv.org/abs/2311.18828

举报

  • 相关推荐
  • 大家在看
  • AI Clone Voice Free:免费的人声克隆工具 支持多种语言和口音。

    AI 克隆声音是一项利用机器学习技术生成与特定人声相似的语音的技术。无需特殊设备,可在浏览器中快速生成高质量的克隆声音。价格分为免费基础服务和付费高级服务,提供更多的声音定制选项。

  • Hacker Search:利用Hacker News历史数据回答关于任何话题的问题

    Hacker Search是一个基于Hacker News历史数据的问答工具,它特别适用于理解HN读者对某个话题的情感,或寻找HN读者感兴趣的话题的专家见解。

  • Voxpad:AI笔记助手,快速生成讲座笔记。

    Voxpad是一款利用人工智能技术帮助用户快速生成讲座笔记的网站。它通过自动化笔记过程,节省了用户手动记录笔记的时间,同时提供了精确和详细的笔记内容,包括关键点和总结,并附有时间戳,方便用户快速定位到特定部分。此外,Voxpad支持多文件格式,具有易于使用的界面和文本编辑器,允许用户编辑和格式化笔记,以满足个性化需求。

  • Pitch Deck Generator:快速创建有说服力的演示文稿

    Pitch Deck Generator 是一个在线工具,旨在帮助用户通过其7步模板工作流程,快速创建出具有说服力的演示文稿。它从识别问题或机会到自信地提出请求,通过引导性的提示帮助用户创建清晰、简洁的演示,展示其独特的解决方案和团队。

  • AutoChat:先进的WhatsApp自动化平台,助力商业升级。

    AutoChat是一个基于云的WhatsApp自动化平台,提供强大的自动化功能,帮助企业简化运营并实现商业目标。它通过无代码聊天机器人构建器、批量消息发送、团队收件箱、GPT-4 AI聊天机器人、原生WhatsApp购物体验等功能,帮助企业提升客户服务水平,增强客户信任,并提高销售效率。

  • LegalLint:法律文件格式化和格式问题识别工具

    LegalLint 是一款专为法律领域设计的文档准备工具,旨在提高文档准备的效率和准确性。它具备以下功能:自动替换引用、插入注释块、检测和突出显示文档中的各种格式问题,如多余的空格、错位的标点或未闭合的括号。这些功能帮助法律专业人士高效地创建无误的文档,节省宝贵的时间并确保文档格式的精确性。

  • TailorLinx:个性化外联信息工具,提升回复率

    TailorLinx是一款结合AI和高级销售心理学的工具,旨在改善冷外联工作,确保与潜在客户的个性化和有效联系。它通过分析电子邮件和LinkedIn数据,包括潜在客户的行业、角色、兴趣和近期活动,来定制信息。TailorLinx利用AI驱动的技术和销售心理学来解释目标潜在客户的详细资料,使信息能够以高度个性化和相关性进行制作。TailorLinx已证明能够将回复率提高至38%。

  • Chirpley:全球首个专注于微纳米影响者的自动化市场平台

    Chirpley是一个创新的自动化、点对点、一站式影响者市场平台,专注于微纳米影响者。它通过人工智能和机器学习技术,为营销人员提供了快速有效的营销手段,并通过一键营销炸弹(1-click marketing bomb)功能,使得营销活动更加迅速和高效。Chirpley旨在解放微影响者营销的巨大盈利潜力,并通过端到端自动化、自适应、数据驱动的微影响者活动,提升营销的覆盖范围和影响力,将结果和效果提升到令人瞩目的高度。

  • helpmee.ai:AI辅助的电脑帮助,让老年人轻松掌握技术。

    helpmee.ai是一个利用AI技术为老年人提供电脑使用指导的网站。通过耐心的语音对话和屏幕共享,AI伴侣逐步引导老年人完成任何计算机任务,确保他们能够自信且独立地在数字世界中导航,支持50多种语言,全天候服务。该服务使用OpenAI的最新GPT-4o模型,提供无与伦比的准确性和理解力。

  • video-subtitle-master:批量生成视频字幕并支持多语言翻译的客户端工具

    video-subtitle-master 是一个基于之前开源项目 VideoSubtitleGenerator 开发的客户端工具,它允许用户批量为视频生成字幕,并支持将字幕翻译成不同的语言。这个工具特别适合需要对视频内容进行本地化处理的个人或团队,无论是为了教育、娱乐还是商业目的。它集成了多种翻译服务,如百度翻译、火山引擎翻译等,并优化了对 Apple Silicon 的支持,提供了快速的生成速度。

  • EngineerDraft:实时字幕生成工具

    BeMyEars 是一款实时字幕生成工具,利用本地设备完成语音识别,为听障人士和需要字幕的用户提供极致体验。其主要优点包括多语言支持、多源输入、隐私保护等。

  • 大设:AI 智能绘画平台,让文本和图片成为艺术作品。

    大设是基于 Stable Diffusion 的免费 AI 绘画网站,提供一键生成高清精绘大图、SDXL 模型教程、AI 提示词工具。背景包括清华大学研发,定位为 AI 智能绘画平台。

  • Supaclip:将视频快速转化为知识库。

    Supaclip是一个旨在帮助用户将视频内容转化为知识库的在线工具。它通过提供视频摘要、AI助手、字幕和时间戳等功能,帮助用户快速理解和导航视频内容。产品适用于内容创作者、学生、播客主持人和研究人员等,通过这些功能,用户可以增加视频的有机覆盖率、从讲座中获取最大价值、提供节目笔记、通过聊天机器人进行互动以及从访谈视频和纪录片中提取关键见解和引用。

  • Context Data:一站式企业级数据平台,专为生成式AI应用设计

    Context Data是一个为生成式AI应用设计的数据处理和转换平台,旨在帮助AI团队构建数据基础设施,以便他们专注于构建AI逻辑。它提供了无需设置基础设施、跨多个源转换数据、连接多个模型、加载数据到主要向量数据库、查询私有向量数据、定时管道以及构建数据和ETL管道等功能。Context Data强调数据隐私控制,避免了将数据上传到OpenAI等外部模型,简化了构建AI就绪数据平台的压力和复杂性。

  • World of Gami:AI驱动的Trello替代品,让团队任务保持最新。

    World of Gami是一个利用AI技术简化任务管理的网站,它将日常任务转化为令人兴奋的挑战,使项目管理不仅是必需的,而且是团队工作流程中令人愉悦和有益的一部分。通过将传统任务列表或看板转变为生动和竞争性的游戏,每个用户可以创建自己的'船',使用Scrum方法进行冲刺,并竞争'冲刺皇冠',这不仅使项目管理更加有趣,而且培养了团队精神和成就感。

  • Dola AI:您的个人 AI 日历助手,简化日程安排,释放时间。

    Dola 是一款通过消息应用进行日程安排的 AI 助手,它与 Google 日历、Apple 日历和 Caldav 兼容,能够通过自然语言快速安排日程,提高效率,同时支持语音、图片和文本输入。Dola 旨在帮助用户节省时间,专注于他们喜欢的事情。

  • Remind AI:使用先进的AI技术,轻松捕捉您的数字活动并作为记忆使用。

    reMind是一款利用AI技术帮助用户捕捉和利用数字活动作为记忆的产品。它通过先进的人工智能技术,让用户能够轻松地记录和回顾自己的工作和活动,从而提高生产力。

  • BrowseBuddy:AI购物助手,提升电商购物体验

    BrowseBuddy是一款AI驱动的聊天机器人,旨在通过提供个性化的帮助来增强在线购物体验。它利用自然语言处理技术来理解客户查询,提供量身定制的产品推荐和支持。BrowseBuddy通过智能产品匹配、实时解决方案、多语言支持等技术,为电商企业提供了一种提升客户满意度和销售效率的解决方案。

  • Depthforge:AI驱动的3D图像生成应用

    Depthforge是一款利用Apple Vision Pro技术,通过文本提示生成沉浸式3D图像的应用。它易于使用,能够让用户通过简单的文本输入来创造独特的高质量3D图像,体验全新的3D图像生成世界。

  • AudiowaveAI:将任何文本转换为有声读物质量的声音。

    AudiowaveAI是一款利用人工智能技术将文本转换成高质量音频的应用程序。它与传统的文本到语音技术不同,提供了更加自然、富有情感的语音输出,让听众在学习和享受内容时获得更好的听觉体验。产品背景信息包括它是由全球创新公司和自由职业者信赖的产品,其主要优点在于其引人入胜的声音、自然的声音效果以及令人愉悦的听觉享受。产品定位为教育工具,旨在帮助用户在移动中学习,享受夏日阳光。

今日大家都在搜的词: