当前位置: 首页 > news >正文

ControlNet构图控制

最初的 ControlNet 主要用于线稿上色、图像风格化、可控姿态的人体生成等任务。

如今各路网友脑洞大开,使用 ControlNet 做出了创意二维码、将文字自然地融入照片等趣味效果。

在这里插入图片描述

ControlNet 的基本结构

加粗样式
ControlNet 并没有改变 SD 模型的 VAE、CLIP 文本编码器和 UNet 结构,而是在这个方案的基础上多加了一些东西。
ControlNet 作为一个即插即用的插件,训练过程应该避免影响到 SD 模型的部分。
固定 SD 权重可以减少一半以上的可学习参数,这么做能节省计算资源。

主要思路:

  • 锁定原始diffusion模型的参数,同时复制可训练的参数副本。这样可以保留原始模型的能力,同时新增可训练的参数用于学习条件控制。

  • 使用“零卷积”层(weights和bias初始化为0)连接原始模型和可训练副本。这可以避免训练初期参数被噪声污染,保护预训练模型。

  • 在diffusion模型的encoder模块添加ControlNet结构。具体来说,对Stable Diffusion的12个编码块和1个中间块应用ControlNet。

  • ControlNet接收条件图像作为输入(比如边缘、人体姿态等),先降采样到与diffusion模型latent space大小一致,然后输入到ControlNet。

  • 训练时随机排除部分文本提示,迫使模型从条件图像中学习语义信息。

  • 推理时,可以组合使用多个ControlNet为同一diffusion模型添加多个条件控制。

训练 ControlNet

第一,根据你要使用的控制方法,在你的数据集上生成这些控制条件,比如提取图像边缘轮廓或者提取人体姿态点。

第二,按照标准的 SD 模型训练流程进行训练,UNet 的输入包括带噪声的潜在表示、时间步 t 的编码、prompt 文本表征和 ControlNet 的控制信号。

标准 SD 训练过程中使用无分类器引导,一般有 10% 的概率会将训练的 prompt 设置为空字符串。而 ControlNet 的训练中,这个概率是 50%!

这是为了让 SD 模型在预测噪声时,有更多信号源自 ControlNet 的控制信号,而不是 prompt 文本表征。说到底,还是为了加强控制。

在训练 ControlNet 时,针对每一种控制条件需要单独完成。这里的控制条件可以是轮廓线(Canny、HED 等),也可以是法线、深度图等。所以,在 Hugging Face 中我们可以找到 20 余种不同的 ControlNet 模型权重。下一讲我们会探讨这些权重的使用方式。

二维码

在这里插入图片描述

a painting of a city with a river and buildings on the hillside and a sky background with clouds and snow on the ground and a blue sky, a detailed matte painting
Negative prompt: (KHFB, AuroraNegative),(Worst Quality, Low Quality:1.4)
Steps: 28, Sampler: Euler, CFG scale: 6, Seed: 1916675209, Size: 512x512, Model hash: 54ef3e3610, Model: meinamix_meinaV11, Denoising strength: 0.75, Clip skip: 2, ControlNet 0: “Module: none, Model: controlnetQRPatternQR_v2Sd15 [2d8d5750], Weight: 1, Resize Mode: Crop and Resize, Low Vram: False, Guidance Start: 0, Guidance End: 1, Pixel Perfect: False, Control Mode: Balanced, Save Detected Map: True”, Version: v1.7.0

https://civitai.com/models/90940/controlnet-qr-pattern-qr-codes

相关文章:

  • PCL 格网法计算点云的占地面积
  • React16源码: React中创建更新的方式及ReactDOM.render的源码实现
  • 收到的字符串写入xml并且将这个xml写入.zip文件中
  • 【设计模式】工厂模式
  • 【动态规划】C++算法:446等差数列划分 II - 子序列
  • 带前后端H5即时通讯聊天系统源码
  • ES-极客学习第二部分ES 入门
  • 二叉树的层序遍历经典问题(算法村第六关白银挑战)
  • 缓存cache和缓冲buffer的区别
  • 3.3 设计模式基础
  • 机器学习 前馈神经网络
  • 芯片命名大全:完整的器件型号包括主体型号、前缀、后缀等!
  • Unity之预制体与变体
  • 【Leetcode】242.有效的字母异位词
  • Spring Boot中加@Async和不加@Async有什么区别?设置核心线程数、设置最大线程数、设置队列容量是什么意思?
  • php的引用
  • gf框架之分页模块(五) - 自定义分页
  • node学习系列之简单文件上传
  • PHP 使用 Swoole - TaskWorker 实现异步操作 Mysql
  • Redis提升并发能力 | 从0开始构建SpringCloud微服务(2)
  • spring boot 整合mybatis 无法输出sql的问题
  • SpriteKit 技巧之添加背景图片
  • 不上全站https的网站你们就等着被恶心死吧
  • 计算机在识别图像时“看到”了什么?
  • 技术发展面试
  • 解析 Webpack中import、require、按需加载的执行过程
  • 模型微调
  • 前端每日实战:70# 视频演示如何用纯 CSS 创作一只徘徊的果冻怪兽
  • 微信小程序填坑清单
  • 大数据全解:定义、价值及挑战
  • ​Distil-Whisper:比Whisper快6倍,体积小50%的语音识别模型
  • (动手学习深度学习)第13章 计算机视觉---微调
  • (七)Knockout 创建自定义绑定
  • (五)关系数据库标准语言SQL
  • (一)ClickHouse 中的 `MaterializedMySQL` 数据库引擎的使用方法、设置、特性和限制。
  • (转)es进行聚合操作时提示Fielddata is disabled on text fields by default
  • (转)Windows2003安全设置/维护
  • (转)甲方乙方——赵民谈找工作
  • . ./ bash dash source 这五种执行shell脚本方式 区别
  • .bat批处理(八):各种形式的变量%0、%i、%%i、var、%var%、!var!的含义和区别
  • .MyFile@waifu.club.wis.mkp勒索病毒数据怎么处理|数据解密恢复
  • .NET MVC第五章、模型绑定获取表单数据
  • .net redis定时_一场由fork引发的超时,让我们重新探讨了Redis的抖动问题
  • .NET/C# 在 64 位进程中读取 32 位进程重定向后的注册表
  • .Net环境下的缓存技术介绍
  • .Net下的签名与混淆
  • .NET学习教程二——.net基础定义+VS常用设置
  • ::什么意思
  • @cacheable 是否缓存成功_让我们来学习学习SpringCache分布式缓存,为什么用?
  • @require_PUTNameError: name ‘require_PUT‘ is not defined 解决方法
  • @软考考生,这份软考高分攻略你须知道
  • [ C++ ] STL_list 使用及其模拟实现
  • [ C++ ] STL---string类的模拟实现
  • [20180129]bash显示path环境变量.txt
  • [2023-年度总结]凡是过往,皆为序章