ControlNet介绍
ControlNet 直译就是控制网，是一个神经网络结构。它通过添加额外的条件来控制扩散模型，为 Stable Diffusion 带来了前所未有的控制水平，它很好的解决了文生图大模型的关键问题：单纯的关键词的控制方式无法满足对细节控制的需要。ControlNet 的主要优势在于其简单易用的特性，能够有效地帮助人们完成复杂的图像处理任务。它把每一种不同类别的输入分别训练了模型，目前公开的有下面14种控制方式，分别是1.0版本时就有的：Canny、Depth、MLSD、Normal、OpenPose、Scribble，SoftEdge、Seg。和1.1版本新增的：Lineart、Shuffle、Tile、inpaint、iP2P、Reference。目前，ControlNet 能够做到骨骼绑定、精准控线、语义分割、依据 3D 视图的法线进行绘图、线稿上色、依据深度图结构透视精准重绘等。
===========================
ControlNet1.1插件的安装要点ControlNet的安装，同其他插件的安装方法一样，不同的是，他还需要下载不少量的模型文件到该插件目录下的“models”目录中。目前一共需要下载14个模型（.pth后缀名）和每个模型对应的配置文件（.yaml后缀名），共计28个文件。安装文件地址和模型文件地址都在篇末提供了。
===========================
ControlNet的使用界面
PS：ControlNet控制器数量设置步骤
===========================
ControlNet的预处理器和模型的关系
1.1版本的模型进行了更多训练和调整后的新模型，出来的效果会比1.0版本的更好更稳定许多，同时还细分了一些模型出来分别应用，因此控制类别和模型都会比1.0版本多。1.1版的预处理器有很多，使用上，一般情况是调用一种预处理器，对应地也需要搭配一种模型来使用，除了Reference这类预处理器没有对应的模型外。
还有一种情况是不需要预处理器，直接调用模型来执行，这种情况在使用OpenPoss的控制方式时候可能会遇到，就是你直接将处理好的人偶姿势的图像置入图像框时，这时候是只需要调用OpenPoss的模型即可。
===========================
ControlNet1.1版中原有模型简介
msld：更适合找一些带直角的建筑类的线条。在原先的基础上做了些改进，识别更准确细致。
normal_bae：法线贴图提取
新版的法线贴图提取，效果比旧版的好许多。一般推荐用这个normal_bae。
depth_zoe：景深提取一般推荐用depth_zoe。用到手动景深depth_leres++时，会多出两个手动取景深的调节栏，用于排除不同程度景深的画面元素。
seg_ofcoco：语义分割用了coco这个更专业的协议的语义分割，能标注出的色块间线条以及识别率更准确。色块控制画面呈现，使得我们对画面的掌控感瞬间提升。Segment Anything技术，他的强大不仅作为Stable Diffusion的一款插件辅助绘画，更有其更广阔的运用场景。
openposs_full：姿势1.1版本，细分了很多种姿势部位的组合。目前的脸部和手部的预处理器组合还是有些问题，但细分后的预处理器，已经比之前1.0版本单一的处理器优化许多。
Canny：样条检测边缘检测，新版本还是有做了许多付出和改进。
softdeg_pidinet：软描边检测软描边检测，新版本推出了4种预处理器，大致效果差不多，官方推荐的是softdeg_pidinet，对图片的细节和边缘把握得更强，另一个角度理解就是出图时可发挥的空间就小了。带safe结尾的2种预处理器则处理出的线条更明亮也更明确，那结果就是更稳定，具体的区别可以自己尝试和体会试试。
scribble：涂鸦
===========================
ControlNet1.1版中新开发模型简介lineart：线稿检测置入ControlNet图像框中作为参考图的，可以是一张图像或线稿图，提取出线稿后，再根据提示词和基础模型生成以提取出的线稿为框架的新的图像。
不同类型的参考图，采用不同的线稿提取方式的采样器。动漫线稿提取-去噪，则是用来处理动漫线稿有些糙的（偏素描类）图像；粗略线稿提取，则是用来处理素描类的图像线稿提取；纯动漫图像（因为生成图时clip是设定为2）的线稿提取，与写实图像（生成图时clip是设定为1）线稿的提取，在线稿提取时是需要区别开的。标准线稿提取，则可以在提取场景的图像时试试；对于场景的线稿提取，也可以试试粗略线稿提取，会有不同的效果。
shuffle:重组/打乱的处理方式这个模型，目前只有一种处理器，就是shuffle预处理器。工作原理是，将预处理的图像的配色都打散了后，生成的预处理图像则可以理解为是原图配色的一个调色盘，再将此配色盘的颜色作用到新生成的图像上。可以用来对构图类似，但风格不同的图像的作风格迁移的尝试。
Pix to Pix:这是一个没有预处理器的模型，使用时预处理器选none，直接在控制类型栏选IP2P。帮我们将先有的画面，改成我们想要其呈现出新画面的方向，通过提示词中给到画面变化的描述，最后生成的画面达成这个描述效果。注意这个提示词的写法，再正向提示词中，需要带make（就是想让生成的画面变成怎样的描述）。
目前这个模型还处于可控性不够强的程度，文件名中“control_v11e_sd15_ip2p”，也可以看出，还是属于e版本非p类版本。inpaint_global_harmoniousinpaint模型和tile模型是1.1版本，我个人感觉最常用的模型。inpaint模型的使用，需要搭配相应的带inpaint功能的基础模型，这类模型的拼接，在我们之前的“界面标签页的介绍（Stable Diffusion研习系列04）”中有讲到过，模型的合并就可以自己做自己常用模型的inpaint模型。有了inpaint模型后，再通过Controlnet的这个inpaint模型，可以很好地用图生图功能对画面进行更精准地重绘和控制。
具体如何用inpaint和tile来完成一个比较完美的工作流，我们将专门起一期来讲解。tile_resampletile模型是重绘方式的升级版，跟inpaint区别的是他会在保持原有构图线条不被太大改变的情况下进行的重绘，并增加生成图像的细节；而inpaint则是会改变原有构图线条的情况下做重绘。而且tile还强大在，可以对分辨率很低的图像，进行增加细节的重绘，配合放大功能后，可以将图像做最大还原度的高清放大处理。放大处理时，就需要讲到一个参数“Down Sampling Rate”，降噪采样值越大，预处理后的图像分辨率越低，则代表了重绘生成的图像有更多的变化空间。
reference_only：
这个预处理器功能，可以让我们生成的图会更接近于我们提交的参考图。包括人物的样貌和姿势。之后又出了2个reference_adain和reference_adain+attn，在Reference_only不理想的情况下可以尝试，是一种新的融合方式，特别是reference_adain+attn，个人感觉效果会比没有attn的更好些。想更多了解，可以看看我们之前发过的一条内容：【ReferenceOnly的用法简介（翻译版）】https://www.bilibili.com/video/BV1ga4y1u7ig/?share_source=copy_web&vd_source=96188266665c90578cc52f2450fb0552虽然Reference_only不能替代lora的效果，但可以作为不错的一种相似度很高的出图方法，但从基本工作原理来说，达不到使用lora输出的那么稳定。
===========================
参考学习视频资源：【ControlNet1.1之后大幅升级，性能提升惊人，改善优化全解析，让AI绘画更上一层楼！】https://www.bilibili.com/video/BV1Ya4y1u7MB/?share_source=copy_web&vd_source=96188266665c90578cc52f2450fb0552【Ai新时代ControlNet，6大全新功能震撼上线|全面解析一网打尽，助你突破瓶颈，轻松地创作！】https://www.bilibili.com/video/BV1Ws4y1z76v/?share_source=copy_web&vd_source=96188266665c90578cc52f2450fb0552【AI绘画】 ControlNet1.1版本新功能 超高质量重采样 像素完美模式 解决分辨率适配问题 改善出图质量 你一定要学会！Stablediffusion】https://www.bilibili.com/video/BV16h4y1n7Mt/?share_source=copy_web&vd_source=96188266665c90578cc52f2450fb0552相关学习资源：ControlNet1.1插件下载：https://github.com/Mikubill/sd-webui-controlnetControlNet1.1官方介绍文档：https://github.com/lllyasviel/ControlNet-v1-1-nightly/blob/main/README.mdControlNet1.1模型下载：https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main常用到的基础模型和插件（持续更新中）以及本期的插图文件也做了一份在云盘链接：https://pan.baidu.com/s/1c9utQmWlGcRqLTr_kftTyA?pwd=1111
