首页 > 业界 > 关键词  > DeepMind最新资讯  > 正文

速度提高200倍!DeepMind推新的微调扩散模型方法DRaFT

2023-10-09 10:55 · 稿源:站长之家

文章概要:

- DRaFT通过反向传播整个采样链条来实现基于梯度的奖励微调。

- 提出DRaFT-K和DRaFT-LV两种变体,通过截断梯度和多样本平均降低方差,提高效率。

- 在Stable Diffusion1.4上应用DRaFT,相比强化学习方法提高200倍的速度。

站长之家(ChinaZ.com)10月9日 消息:扩散模型彻底改变了各种数据类型的生成建模。然而,在实际应用中,例如从文本描述生成美观的图像,通常需要微调。文本到图像扩散模型采用无分类器指导和 LAION Aesthetics 等精选数据集等技术来提高对齐和图像质量。

谷歌DeepMind的研究人员最近在一项研究中提出了一种基于梯度的奖励微调的简单而有效的方法,其中涉及通过扩散采样过程进行区分。他们引入了直接奖励微调 (DRaFT) 的概念,该概念本质上是通过整个采样链进行反向传播,通常表示为长度为50步的展开计算图。为了有效管理内存和计算成本,他们采用梯度检查点技术并优化 LoRA 权重,而不是修改整套模型参数。

image.png

上图展示了使用人类偏好奖励模型的 DRaFT。此外,作者还对 DRaFT 方法进行了增强,以提高其效率和性能。首先,他们提出了 DRaFT-K,这是一种在计算微调梯度时将反向传播限制为采样的最后 K 步的变体。经验结果表明,在相同数量的训练步骤下,这种截断梯度方法的性能明显优于完全反向传播,因为完全反向传播可能会导致梯度爆炸的问题。

此外,作者还介绍了 DRaFT-LV,它是 DRaFT-1的一种变体,它通过对多个噪声样本进行平均来计算低方差梯度估计,从而进一步提高了其方法的效率。

研究人员在Stable Diffusion1.4模型上应用了DRaFT方法,使用各种奖励函数和提示进行评估。与基于强化学习的微调baseline相比,他们的梯度方法效率提高了200倍以上。

DRaFT-LV 是他们提出的变体之一,表现出卓越的效率,学习速度大约是 ReFL(一种先前的基于梯度的微调方法)的两倍。此外,他们通过将 DRaFT 模型与预训练模型相结合或插值,展示了 DRaFT 的多功能性,这可以通过混合或缩放调整 LoRA 权重来实现。

研究显示,直接对可微分奖励进行扩散模型微调,是提高生成建模技术的一种有前景的途径。DRaFT方法的效率、通用性和有效性,使其成为这个领域研究者和从业者的有价值工具。

论文网址:https://arxiv.org/abs/2309.17400

举报

  • 相关推荐
  • 谷歌DeepMind CEO评价Deepseek为中国最好的作品:但外界炒作有点夸大

    谷歌旗下DeepMind首席执行官戴米斯哈萨比斯在巴黎一场谷歌主办的活动上,对Deepseek的AI模型做出了评价。哈萨比斯称赞DeepSeek的模型是令人印象深刻的作品,并表示我认为这可能是我见过中国最好的作品”。哈萨比斯还谈到了通用人工智能的前景,他认为AI行业正在走向AGI,且可能在未来5年左右实现这一目标。

  • DeepSeek日活突破2000DeepSeek概念股开盘集体大涨

    国内AI产品榜的最新统计数据揭示了DeepSeek应用在短时间内取得的显著成就。自上线以来仅20天,DeepSeek的日活跃用户数已迅速攀升至2215万,这一数字不仅标志着其用户基础的迅速扩张,也使其在全球AI产品领域崭露头角。我们期待DeepSeek能够在未来继续保持强劲的发展势头,为全球AI产业的发展做出更大的贡献。

  • DeepSeek日活突破2000万:达ChatGPT的40%

    据报道,国内AI产品榜的最新统计数据显示,DeepSeek应用在上线仅20天后,便取得了令人瞩目的成绩。其日活跃用户数迅速突破2000万大关,具体数字高达2215万。深度学习研究员岗位的薪资水平为50~80k,14薪,工作地点为北京,招聘要求是在校或者应届的硕士生。

  • 欧税通已正式部署DeepSeek大模型

    当DeepSeek大模型遇上跨境合规服务,会擦出怎样的火花?作为跨境合规行业领军者,欧税通领先行业正式在云端及本地化部署DeepSeek大模型,用前沿技术重塑跨境合规服务体验,为跨境卖家提供更智能化的合规服务。愿与每一位跨境卖家携手,共同迎接全球化的新机遇,共创辉煌未来!

  • 李飞飞、DeepSeek为何偏爱这个国产模型

    【新智元导读】最近,李飞飞团队仅用26分钟在Qwen基础上训出超越o1的模型DeepSeek更是直接选择了阿里通义千问Qwen蒸馏开源4款模型。一个不争的事实浮出水面:昔日称霸开源界Llama已悄然退位,新王加冕。它必将继续创造新的奇迹。

  • AI日报:谷歌重磅发布Gemini 2.0全系列模型DeepSeek日活突破2000万;ChatGPT搜索开放无需注册

    欢迎来到【AI日报】栏目!这里是你每天探索人工智能世界的指南,每天我们为你呈现AI领域的热点内容,聚焦开发者,助你洞悉技术趋势、了解创新AI产品应用。新鲜AI产品点击了解:https://top.aibase.com/1、DeepSeek日活突破2000万,2家名为DeepSeek公司在香港成立DeepSeek在上线仅20天内,日活跃用户数便突破了2000万,这一成就显示了其在人工智能领域的巨大潜力与市场需求。尽管媒体热情高涨,DeepSeek却选择婉拒所有采访请求,强调将专注于自身的研究与发展。

  • AI 直接抢饭碗?Deep Research曝光20个高危岗位,DeepSeek怎么看?

    饭碗就不稳了?!OpenAI最新推出的智能体DeepResearch通过提示词,直接生成了一张震撼的榜单——20个最容易被AI取代的职业!这个名为DeepResearch的智能体你只需要给它一句话指令,它就能自动上网搜寻论文、扒网页、读PDF,像个资深研究员一样,轻松分析资料,最后为你呈现一份带有独立见解的专业报告。它可不是简单的百度搜索引擎是真正理解内容、对比信息、推理结论的能力,相当于雇了个24小时不休息的学霸助理,帮你做研究。比如:市场分析师可以用AI快速抓取数据,自己专注于深度分析;文案可以用AI生成初稿,然后自己精修,提升效率;社交媒体经理可以用AI规划发帖时间,自己专注内容创意。

  • DeepEdge10已完成DeepSeek R1系列模型适配

    云天励飞芯片团队完成DeepEdge10“算力积木”芯片平台与DeepSeek-R1-Distill-Qwen-1.5B、DeepSeek-R1-Distill-Qwen-7B、DeepSeek-R1-Distill-Llama-8B大模型的适配,可以交付客户使用。DeepSeek-R1-Distill-Qwen-32B、DeepSeek-R1-Distill-Llama-70B大模型、DeepSeekV3/R1671BMoE大模型也在有序适配中。云天励飞将继续努力,用自主研发的AI芯片,与更多国内AI生态合作伙伴一起,共同为提升国产AI产业竞争力、推动国产AI技术发展做出贡献。

  • DeepSeek深夜发布全多模态大模型 性能碾压OpenAI

    爆火的国产大模型DeepSeek又放大招,今天凌晨突然发布Janus-Pro多模态大模型,进军文生图领域。在GenEval和DPG-Bench基准测试中,Janus-Pro-7B不仅击败了OpenAI的DALL-E3击败了StableDiffusion、Emu3-Gen等热门模型。作为多模态模型,Janus-Pro不仅能文生图能对图片进行描述,识别地标景点,识别图像中的文字,并能对图片中的知识进行介绍。

  • 阿里云上线DeepSeek六大模型:免费送100tokens

    阿里云官方宣布,阿里云百炼平台已经全面上线DeepSeek全系列大模型,包括DeepSeek-V3、DeepSeek-R1、DeepSeek-R1-Distill-Qwen-32B/14B/7B/1.5B等共六款。所有用户都可以享受DeepSeek-R1、DeepSeek-V3两款模型各100万的免费tokens。用户无需编写代码,即可通过阿里云平台实现从模型训练到部署再到推理的全过程,极大地简化了AI模型的开发流程。

热文

  • 3 天
  • 7天