首页 > 业界 > 关键词  > DreamDistribution最新资讯  > 正文

文生图模型升级!DreamDistribution:基于少量参照图片无限生成多样个性化图片

2024-01-16 15:05 · 稿源:站长之家

**划重点:**

- 🚀 **全新方法:** 南加州大学、哈佛大学等团队推出DreamDistribution,一种基于提示学习的生成模型,可通过极少数量的参照图片生成高度多样且个性化的图像。

- 🖼️ **多领域应用:** 该方法不仅适用于文本生成图像,还可扩展到3D生成,实现更广泛的个性化生成任务。

- 📊 **评估结果:** DreamDistribution在自动和人工评估中均取得卓越成绩,相较于传统方法,生成图像更具多样性和质量。

站长之家(ChinaZ.com) 1月16日 消息:来自南加州大学、哈佛大学等机构的研究团队最近提出了一项创新性的生成模型方法,名为DreamDistribution。这一方法基于提示学习,能够通过仅有的几张参照图片学习文本提示分布,从而实现高度多样化和个性化的图像生成。

image.png

DreamDistribution找到参考图像的提示分布,然后可用于生成新的2D/3D 实例,能够进行文本引导编辑等。

DreamDistribution的独特之处在于它不仅适用于文本生成图像,还能在3D生成领域发挥作用。通过学习文本提示分布,该方法可以生成具有极大多样性的图像,保留参照图片的视觉属性,同时注入新颖的变化。

image.png

方法通过在语义空间内使用提示的语义特征拟合一个提示的高斯分布,以此来实现对生成图像的控制。正交损失项确保不同提示在语义空间中的特征差异,使生成更多样性。此外,方法还支持通过文本引导进行提示编辑,进一步增强了生成图像的个性化。

image.png

给定一组训练图像(通常为5-20张,在这里只显示4张),将生成结果与其他现有方法进行比较。我们对所有方法都使用 Stable Diffusion2.1版。从底行可以看出,这种的方法能够生成更多样化和连贯的图像。

在评估方面,DreamDistribution在自动评估和人工评估中均表现出色。使用流行的指标进行评估,如FID、CLIP-I和DINO等,结果显示该方法生成的图像在质量上明显优于基线方法。人工评估也证实了DreamDistribution生成图像的多样性和个性化程度相较于其他方法更高。

该方法不仅在生成图像的质量和多样性方面取得成功,而且展示了在更广泛生成任务中的应用潜力。研究人员使用MVDream作为3D生成模型,成功地将DreamDistribution的方法应用于3D生成任务,进一步证实了其适用性和灵活性。

然而,研究人员也指出一些不足之处,例如生成效果高度依赖于训练图片的质量和多样性,并且在3D生成上仍有提升的空间。这一工作为生成模型领域注入了新的思路,强调了在更高层面上实现个性化生成的重要性,为未来的研究提供了有益的启示。

DreamDistribution 主要特色功能总结如下:

  • Prompt 分发学习:DreamDistribution 通过学习软提示的分发,使预训练的文本到图像扩散模型能够生成新的2D/3D实例。这些软提示可以从学到的分发中进行采样,从而实现文本引导的编辑和更多功能。

  • 个性化定制:该项目专注于在更抽象的概念或类别水平上个性化文本到图像扩散模型,从一组参考图像中调整共性,并创建具有足够变化的新实例。这使得生成的图像具有多样性,同时保持与参考图像的关联性。

  • 多任务适应性:学到的提示分发不仅可以用于文本到2D图像的生成,还展示了在其他任务上的适应性,如文本到3D的生成。

  • 文本引导编辑:该方法支持文本引导的编辑功能,用户可以通过调整提示来控制生成图像的变化和混合。这增加了用户对生成过程的灵活性。

  • 应用于文本到3D生成:** 通过学习提示分发,可以应用于文本到3D生成,并支持文本引导的编辑,提供更多维度的图像生成能力。

论文地址:https://arxiv.org/abs/2312.14216

项目网址:https://briannlongzhao.github.io/DreamDistribution/

举报

  • 相关推荐
  • 大家在看
  • SpeedLegal:个人AI合同谈判助手

    SpeedLegal是一个利用机器学习技术(特别是深度学习、大型语言模型和通用AI)来突出合同中的条款和关键风险的技术初创公司。我们分析您的文档并发送给您一个简化的报告,以便您在签名前做出更明智的决策。

  • FCK.School:AI写作工具

    FCK.School是一个为学生提供AI写作工具的在线平台。它可以帮助学生改善写作技巧,提升学术表现。通过FCK.School的AI驱动工具,学生可以进行文本改写、文摘、语法纠错等操作,还能生成各种写作素材,如标题、论点、大纲等。FCK.School提供免费工具以供试用,同时还有付费订阅计划。

  • CompliantChatGPT:AI医疗助手,HIPAA合规

    CompliantChatGPT是一款专为医疗保健行业设计的AI助手,它通过HIPAA合规的方式,帮助医疗工作者安全、高效地处理医疗相关任务。产品具备以下特点: - 保护患者数据安全,通过令牌化技术确保个人健康信息(PHI)的安全。 - 提供个性化的医疗模式,包括血液分析、PHI匿名化、诊断和治疗规划等。 - 用户友好的界面设计,支持语音到文本的笔记功能,便于记录和回顾。 - 定价策略灵活,提供免费试用,以及多种付费套餐选择。 - 适用于医疗提供者、专业人士、医疗机构、研究中心和健康科技初创企业。

  • Healax:AI驱动的心理健康解决方案

    Healax是一款创新的AI驱动的心理健康解决方案,专为学生设计,帮助他们主动应对日常生活中的压力和焦虑。该产品通过建立学生、行政人员和提供者之间的信任沟通渠道,提供定制化活动和内容,以促进更全面的教育体验。

  • Snowflake Arctic Embed:开源的先进文本嵌入模型

    Snowflake Arctic Embed是一系列基于Apache 2.0许可开源的文本嵌入模型,专为检索用例设计。这些模型在Massive Text Embedding Benchmark (MTEB)检索基准测试中提供了领先的检索性能,为组织在结合专有数据集与大型语言模型(LLMs)进行检索增强生成(RAG)或语义搜索服务时提供了新的优势。这些模型的尺寸从超小型(xs)到大型(l),具有不同的上下文窗口和参数数量,以满足不同企业的延迟、成本和检索性能需求。

  • DuerOS X:全球首个AI原生操作系统

    DuerOS X是小度基于百度文心大模型推出的全球首个AI原生操作系统。它彻底颠覆了传统的人适应系统的模式,实现了端到端连接用户的意图与任务,极大地拓展了操作系统的边界。DuerOS X全面应用了文心大模型,通过模型路由架构,能够灵活调度不同的文心模型去解决不同难度的问题,更高效、更精准、更经济。个性化长短记忆的存储、提取和理解能力,使得DuerOS X能够更清楚地记住历史内容与用户个性化偏好。此外,多模态感知技术的应用,让DuerOS X产生更丰富的感知力,无论是通过语音、文字还是表情与小度沟通,都能准确地理解用户的意图,并给出恰当的回应。

  • abab 6.5:万亿参数MoE文本大模型

    abab 6.5系列包含两个模型:abab 6.5和abab 6.5s,均支持200k tokens的上下文长度。abab 6.5包含万亿参数,而abab 6.5s则更高效,能在1秒内处理近3万字的文本。它们在知识、推理、数学、编程、指令遵从等核心能力测试中表现出色,接近行业领先水平。

  • mistral-common:Mistral模型工具集

    mistral-common是一套帮助您处理Mistral模型的工具。它不仅包含文本到token的转换,还增加了工具解析和结构化对话。目前发布了三个版本的tokenizer,分别适用于不同的模型集合。

  • AI Grammar Checker & Paraphraser – LanguageTool:提供语法检查和改写的工具

    AI语法检查与改写工具- LanguageTool是一款免费的语法检查工具,可以检测文本中的语法错误并提供改写建议。它能够检测出拼写错误、语法问题、常见词汇混淆和标点符号错误,并提供改写建议、同义词替换和简洁句子重写。该工具适用于多种语言,支持多个平台和应用场景,如社交媒体、电子邮件和网页。

  • Spline AI 3D Generation:快速生成三维模型的AI工具

    AI 3D Generation是Spline推出的一款3D设计工具,它支持文本到3D生成和图像到3D生成,允许用户通过简单的文本提示或2D图像自动创建出详细且精确的3D模型。该工具具有生成变体与混合、直观且适合初学者、创建独特的3D库、平台集成与实时协作、易于集成和发布等功能。

  • FocuSee:轻松录屏 软件会自动跟踪光标移动美化录屏效果

    FocuSee 自动跟踪光标移动,应用动态缩放效果,为您节省宝贵时间和额外的努力。适用于演示,教程,推广视频等多种场景。

  • Ai-to-pptx:使用AI技术来自动生成PPTX 支持在线修改

    Ai-to-pptx 是一个使用 AI 技术 (ChatGpt 和 Gemini) 制作 PPTX 的助手,支持在线修改和导出 PPTX。主要功能包括使用 ChatGPT 等大语言模型生成大纲、允许用户再次修改内容、选择不同模板、在线修改 PPTX 的文字、样式、图片等,支持导出 PPTX、PDF、PNG 等多种格式。价格为付费,商业授权价格为 22000 元人民币或 3000 美元。

  • CodeQwen1.5:开源代码助手,高效编程新选择

    CodeQwen1.5是一个基于Qwen语言模型的代码专家模型,拥有7B参数,支持92种编程语言,最长支持64K的上下文输入。它具备代码生成、长序列建模、代码修改和SQL能力等,旨在提高开发人员的工作效率,简化软件开发流程。

  • PixArt-Sigma:4K文本到图像生成的扩散变换器

    PixArt-Sigma是一个基于PyTorch的模型定义、预训练权重和推理/采样代码的集合,用于探索4K文本到图像生成的弱到强训练扩散变换器。它支持从低分辨率到高分辨率的图像生成,提供了多种功能和优势,如快速体验、用户友好的代码库和多种模型选择。

  • InstantMesh:高效3D网格生成框架

    InstantMesh是一个基于LRM架构的前馈框架,用于从单张图像高效生成3D网格。它支持低内存GPU环境,并能生成具有纹理映射的3D网格模型。

  • MagicClothing:基于LDM的服装驱动图像合成AI

    MagicClothing是一种基于潜在扩散模型(LDM)的新型网络架构,专门用于服装驱动的图像合成任务。它能够根据文本提示生成穿着特定服装的定制化角色图像,同时确保服装细节的保留和对文本提示的忠实呈现。该系统通过服装特征提取器和自注意力融合技术,实现了高度的图像可控性,并且可以与ControlNet和IP-Adapter等其他技术结合使用,以提升角色的多样性和可控性。此外,还开发了匹配点LPIPS(MP-LPIPS)评估指标,用于评价生成图像与原始服装的一致性。

  • FireCrawl:无需站点地图,一键抓取网站所有子页面

    FireCrawl 是一款由 Mendable.ai 开发的开源项目,它能够无需站点地图即可抓取任何网站的所有可访问子页面,并将这些内容转换为干净、格式化的Markdown文档。它特别适合数据科学家、机器学习工程师、内容创作者和市场分析师使用,以从网站内容中提取有价值的信息。FireCrawl 能够处理使用JavaScript动态渲染的内容,提供API服务,支持自托管,并与多种开发者工具和框架集成。

  • Atlas:下一代电动机器人

    Atlas是波士顿动力公司开发的一款先进的人形机器人,它结合了数十年的研究和实际经验,旨在解决当今工业领域中最艰巨的挑战。新一代的Atlas机器人是全电动的,比以往的液压版本更强大,动作范围更广,能够更高效地完成各种任务。Atlas机器人配备了新的AI和机器学习工具,如强化学习和计算机视觉,以确保它们能够适应复杂的现实世界情况。此外,Atlas将与波士顿动力公司的Orbit™软件集成,该软件提供了一个集中的平台来管理整个机器人车队、站点地图和数字化转型数据。

  • Stable Diffusion 3 API:先进的文本到图像生成系统

    Stable Diffusion 3是一款先进的文本到图像生成系统,它在排版和提示遵循方面与DALL-E 3和Midjourney v6等顶尖系统相匹敌或更优。该系统采用新的多模态扩散变换器(MMDiT)架构,使用不同的权重集来改善图像和语言的表示,从而提高文本理解和拼写能力。Stable Diffusion 3 API现已在Stability AI开发者平台上线,与Fireworks AI合作提供快速可靠的API服务,并承诺在不久的将来通过Stability AI会员资格开放模型权重以供自托管。

  • 奇布塔:AI一站式儿童有声绘本创作平台

    奇布塔是基于人工智能生成技术的绘本创作平台,提供各种风格的有声绘本创作功能,帮助用户创作优质的绘本内容。定价灵活多样,定位于绘本创作者和儿童阅读者市场。

今日大家都在搜的词: