从零快速入手Stable Diffusion webui,通常有以下几个环节:
- 安装 见 Stable Diffusion webui 本地安装教程
- 选择模型
- 关键词
- 扩展/插件安装
- ControlNet
- 模型训练
选择模型
1. 基础模型/大模型:SD 1.5 通用模型
下载地址:
推荐SD 1.5版本,由Runway发布:
老版本:
另有版本,以及各版本的区别,详见本课视频。
用通用模型已经可以上手开始生成图像了,如果对某些特定风格有进一步要求,则可以进一步选择经过定制训练后的模型。
2. 经过定制训练的模型
这类模型训练属于Fine Tune训练。
SD模型训练方式最常见三种,Textual Inversion、Dreambooth、LoRA。
初上手直接在C站上挑选训练好的模型即可。类型标在C站模型预览图的左上角,见下图:
a. Textural Inversion
- 训练后的文件小,几K至几十K。
- 实际上训练后得到的是一个精炼的关键词组合,embeddings文件。
- 可以多个TI组合使用。
- TI训练,webui 内置,文档:
- https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/Textual-Inversion
b. Dreambooth
- 训练后文件大,几G。
- 训练后得到的是一个大模型。
- 只能单个使用。
- Dreambooth训练1,webui 扩展:
- 训练选择2,推荐
- 训练选择3,colab脚本
- https://github.com/TheLastBen/fast-stable-diffusion
c. LoRA
- 是一种性能优化的Dreambooth训练方法。
- 训练后文件大小适中,几M至几百M。
- 训练后得到的是lora模型文件,可以搭配大模型文件一同使用。
- 可以多个LoRA组合使用。
- LoRA训练,同Dreambooth,webui 扩展:
- 训练选择2
三种模型在SD webui里存放的位置、使用方法,详见本课视频。
关键词
关键词资源全网很多,课堂预购了以下几套,在情报中心圈子里获取。
- 20000+AI绘画关键词
- 建筑类 Architecture Midjourney Prompts
- 关键词生成器 Prompt Generator - SD Art Excel版
- https://promptomania.com/stable-diffusion-prompt-builder/
- https://promptomania.com/midjourney-prompt-builder/
- https://stable-diffusion-art.com/prompt-guide/
C站模型样例图关键词及参数一键拷贝方法:
扩展/插件安装
一些常见功能,如ControlNet,需要通过插件的方式来安装。
可以直接在webui的Extensions里进行操作。
也可以手动安装,通过git clone或直接下载插件包的方式,详见:
插件安装、使用的教程全网资源也很多。
有疑问可在圈子、群内答疑。
No.4
ControlNet
掌握了基本图像生成后,可通过ControlNet进行更精确的控制,解决构图、精修等细节问题。
将在后续课程详细讲解。
ControlNet介绍及文档:
- https://github.com/lllyasviel/ControlNet
- https://github.com/Mikubill/sd-webui-controlnet
No.5
模型训练
模型训练用来解决进一步风格定制、内容细节生成、品牌形象植入等问题,也可以改善AI视频中如角色面部控制、造型定制等问题。