首页 > 业界 > 关键词  > HiDiffusion最新资讯  > 正文

旷视发布HiDiffusion,SD生成速度更快,图片质量更高

2024-04-25 11:29 · 稿源:站长之家

站长之家(ChinaZ.com)4月25日 消息:最近,旷视发布的HiDiffusion技术,近日引起业界广泛关注。这一新技术只需一行代码,便能显著提升SD(扩散模型)生成图像的分辨率和生成速度,允许图像生成的分辨率高达4096×4096,同时将图像生成速度提高1.5至6倍。值得一提的是,HiDiffusion不仅支持所有SD模型,也兼容SD模型的下游模型,如Playground。

QQ截图20240425111400.png

在详细介绍中,我们了解到,当直接使用已训练好的图像扩散模型尝试生成更高分辨率的图像时,常会遇到图像中对象不合理重复的问题,且图像生成时间会大幅增加。研究发现,这种对象重复问题主要由U-Net模型深层中的特征重复导致,而图像生成时间增长则主要是由于U-Net中一个自机制注意力的动画操作所致。

为了解决这些问题,旷视推出了新的高分辨率生成框架——HiDiffusion。该框架包含一个称为认知分辨率U-Net(RAU-Net)的模块,能够动态调整特征图尺寸,有效避免了图像中的对象重复现象。此外,HiDiffusion还采用了一种优化后的窗口注意力机制,称为修改版本升降窗多头自注意力(MSW-MSA),显着减少了计算量。

通过将HiDiffusion应用于各种预训练的扩散模型,不仅可以将图像生成的分辨率提高至4096×4096,而且能将图像生成速度提升1.5至6倍。广泛的实验验证表明,这一方法不仅解决了对象重复和高计算负担的问题,而且在生成高分辨率图像的任务上取得了卓越的效果。

项目页:https://top.aibase.com/tool/hidiffusion

代码:https://github.com/megvii-research/HiDiffusion

举报

  • 相关推荐
  • 大家在看

今日大家都在搜的词: