首页 > 业界 > 关键词  > ControlNet最新资讯  > 正文

如何将ControlNet与SDXL模型配合使用

2024-06-20 10:30 · 稿源:站长之家用户

众所周知SD1.5的ControlNet模型在SDXL上是不可以使用的,那我们使用SDXL时需要用到ControlNet怎么办呢,别担心这个教程以canny为例教你怎么将ControlNet和SDXL配合使用

更新我们的ControlNet

首先就是更新我们的ControlNet,在秋叶整合包中点击版本管理——扩展—— 一键更新就可以啦

image.png

也可以在WebUI中——扩展——已安装——检查更新——点击应用——重启WebUI

image.png

下载SDXL控制模型

您可以通过以下链接下载适用于 SDXL 的 ControlNet 模型。

lllyasviel/sd_control_collection at main (huggingface.co)

您可以将模型放入

stable-diffusion-webui\extensions\sd-webui-controlnet\models

stable-diffusion-webui\models\ControlNet

不过在下载的时候有这么多模型我们怎么选择呢

image.png

Canny模型

这边以Canny模型为例,我们不用全部下载,我这边已经测试了这些模型的生成效果和速度

image.png

速度测试

image.png

模型大小

虽然diffusers_xl_canny_full效果很好,但不幸的是,它是最大的。(2.5 千兆字节)而且生成的时间也比较久,如果你只在乎质量不在意时间并且电脑配置很好可以考虑这个

kohya_controllllite控制模型非常小。鉴于它们的体积小,它们的表现非常好。

对 Canny SDXL 的建议

如果您对它的大尺寸和较低的速度感到满意,请使用diffusers_xl_canny_full。

如果您需要更小、更快的模型并且可以接受风格的轻微变化,请使用kohya_controllllite_xl_canny。

使用sai_xl_canny_128lora以获得合理的文件大小,同时减少样式的更改。

控制权重参数对于生成良好的图像至关重要。大多数型号需要它低于 1。

-------------------------------------------------------------------------------------------

想要深入学习更多AI教程,请访问我们的教程网站:

AI教程_深度学习入门指南 - 站长素材 (chinaz.com)

举报

  • 相关推荐
  • 聚焦AI新赛道,elexcon深圳国际电子展暨嵌入式展设 AI 机器人专区

    2025年深圳国际电子展暨嵌入式展(ELEXCON)将于8月26-28日举办,聚焦"All for AI, All for GREEN"主题。展会特设AI机器人专区,汇聚越疆、大疆等400+产业链企业,展示从芯片到整机的全产业链技术。同期举办第七届中国嵌入式技术大会,探讨具身机器人嵌入式系统等前沿议题。预计吸引600+机器人领域决策者参与,覆盖AI芯片、汽车电子等热点领域。依托深圳电子产业集群优势,展会将成为行业技术交流与资源对接的重要平台。

  • 微云全息(NASDAQ: HOLO)引领加密货币预测新纪元:HNFCS技术揭秘

    微云全息(NASDAQ:HOLO)开发了混合神经模糊控制系统(HNFCS),结合神经网络学习能力和模糊逻辑灵活性,能有效预测比特币等加密货币价格波动。该系统通过处理海量市场数据,动态调整预测模型,克服了传统方法在样本外预测和超时预测准确性方面的局限。HNFCS技术优势在于其自适应性和实时性,可扩展应用于多种金融场景,为投资者提供精准决策支持,有望成为加密货币市场的重要分析工具。

  • 鲁大师2025年手机半年报:ColorOS蝉联流畅霸主,小米玄戒杀入性能前五

    2025年上半年手机市场迎来旗舰芯片大战:骁龙8至尊版领衔版与天玑9400+旗舰芯片成为主流,红魔10S Pro+凭借超频至4.47GHz的骁龙8至尊版和液金散热技术,以1912990分登顶性能榜。系统流畅度方面,ColorOS15以226.76分连续四季夺冠,OriginOS紧随其后。AI性能榜被搭载骁龙8至尊版的机型包揽,vivo X200 Ultra凭借蓝心大模型以276423分居首。芯片榜中骁龙8至尊版以1295851分封王,小米玄戒O1采用台积电N3E工艺,以四丛集十核架构杀入前五,成为最大黑马。随着第二代骁龙8至尊版和天玑9500即将量产,下半年旗舰之争将重塑行业格局。

  • @开发者们:百度文心大模型4.5系列模型开源,国内首发平台GitCode现已开放下载!

    6月30日,百度文心大模型4.5系列正式开源并在国内领先的开源平台GitCode首发上线。该系列包含10款模型,涵盖47B和3B参数的混合专家(MoE)模型及0.3B的稠密参数模型,采用创新的多模态异架构结构实现跨模态知识融合。模型基于飞桨框架开发,训练效率达47% MFU,在文本和多模态基准测试中达到SOTA水平。所有模型按Apache2.0协议开源,配套产业级开发套件支持多种芯片部署。GitCode平台已汇聚620万用户,为AI开发者提供代码托管、协同开发等全流程支持。此次开源将推动中国AI生态创新,加速大模型技术产业化应用。

  • 超凡性能,卓越设计——三星Galaxy Watch Ultra的诞生之路

    三星Galaxy Watch Ultra智能手表全新升级,融合"天圆地方"设计美学与户外性能。采用圆形表盘与方形底座结合,配备专属快捷按键,支持一键切换运动模式。表带采用无表耳设计,提升佩戴舒适度,并提供水上运动、越野运动等专业表带选择。搭载超级模拟表盘,可显示9项运动数据,支持个性化设置。2025款新增"钛岭蓝"配色,7月25日正式发售,预约可享表带赠品或分期免息优惠。这款兼具设计美感与实用功能的智能手表,重新定义了户外运动装备标准。

  • Perplexity推出AI浏览器Comet:想用得开1400元/月的订阅

    由英伟达支持的Perplexity AI推出了一款名为Comet的AI驱动网络浏览器。 Comet浏览器的核心卖点是其AI驱动的交互体验,公司表示它将整个浏览会话转变为单一、无缝的交互,将复杂的工作流程简化为流畅的对话。

  • 边缘AI技术爆发式增长 | elexcon2025深圳国际电子展90%展位已售罄

    2025年深圳国际电子展(ELEXCON)将于8月26-28日举办,聚焦边缘AI与绿色技术。展会以"All for AI, All for GREEN"为主题,90%展位已售罄,400余家全球企业将展示AI计算、存储、嵌入式等创新方案。特设三大应用生态专区:AI玩具、服务机器人、AR眼镜,并举办15+场技术论坛探讨嵌入式AI与边缘智能融合。预计吸引3万+工程师参与,展示从芯片、电源到封装等全产业链创新技术,推动AI在工业、交通、医疗等领域的商业化落地。

  • AI日报:阿里通义推Qwen-TTS模型;Cursor已支持网页和手机端;字节发布图像合成技术XVerse

    【AI日报】今日AI领域7大突破:1)阿里通义Qwen-TTS实现方言语音合成重大突破;2)Cursor发布Web版AI编程工具;3)字节XVerse技术实现多对象精准图像生成;4)NoteGen跨平台AI笔记工具革新知识管理;5)ManimML动画库可视化Transformer架构;6)TEN+Agent开源语音交互技术降低延迟;7)Chai-2抗体设计模型将药物研发周期缩短至两周。淘宝同时上线RecGPT推荐模型提升购物体验。

  • ChatGPT们重塑了对话框,钉钉今天要重塑表格

    ​自从1979年,丹·布里克林(Dan Bricklin)和鲍勃·弗兰克斯顿(Bob Frankston)在苹果当时划时代的 Apple II 电脑上做出了第一张可以自动计算和更新的电子表格 VisiCalc 后,表格就成为了计算机用数据方式理解人类世界的基座。不过,在更多的时候,没人这样讨论它。横横竖竖几个格子,表格无处不在,它看起来太普通了。 然而计算机诸多繁荣的根基,都建立在一张张表格之上,无�

  • 探索AI时代出海新范式!impact.com荣获TopDigital创新营销奖「年度营销技术公司」

    2025年7月1日,impact.com在第十三届TopDigital创新营销盛典上荣获"年度营销技术公司"大奖。该平台凭借技术能力、商业影响和全球化战略的综合表现获得认可,其AI技术正深刻改变品牌营销工作方式,尤其在效率提升与流程优化方面成效显著。impact.com通过智能推荐、智能审批等功能,将AI能力引入合作伙伴管理核心环节,帮助出海企业构建全球化合作网络。大中华区总裁Jennifer Zhang表示,AI不是替代营销人,而是释放其判断力与创造力。作为全球合作伙伴经济核心引擎,impact.com已服务众多中国出海品牌,未来将继续深化AI在营销管理平台的应用。