Stable Diffusion 上手路径与常用操作

2023年 7月 11日 73.6k 0

从零快速入手Stable Diffusion webui,通常有以下几个环节:

  • 安装 见 Stable Diffusion webui 本地安装教程
  • 选择模型
  • 关键词
  • 扩展/插件安装
  • ControlNet
  • 模型训练

选择模型

1. 基础模型/大模型:SD 1.5 通用模型

下载地址:

推荐SD 1.5版本,由Runway发布:

老版本:

另有版本,以及各版本的区别,详见本课视频。

用通用模型已经可以上手开始生成图像了,如果对某些特定风格有进一步要求,则可以进一步选择经过定制训练后的模型。

2. 经过定制训练的模型

这类模型训练属于Fine Tune训练。

SD模型训练方式最常见三种,Textual Inversion、Dreambooth、LoRA。

初上手直接在C站上挑选训练好的模型即可。类型标在C站模型预览图的左上角,见下图:

Stable Diffusion 上手路径与常用操作

a. Textural Inversion

  • 训练后的文件小,几K至几十K。
  • 实际上训练后得到的是一个精炼的关键词组合,embeddings文件。
  • 可以多个TI组合使用。
  • TI训练,webui 内置,文档:
    • https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/Textual-Inversion

b. Dreambooth

  • 训练后文件大,几G。
  • 训练后得到的是一个大模型。
  • 只能单个使用。
  • Dreambooth训练1,webui 扩展:
  • 训练选择2,推荐
  • 训练选择3,colab脚本
    • https://github.com/TheLastBen/fast-stable-diffusion

c. LoRA

  • 是一种性能优化的Dreambooth训练方法。
  • 训练后文件大小适中,几M至几百M。
  • 训练后得到的是lora模型文件,可以搭配大模型文件一同使用。
  • 可以多个LoRA组合使用。
  • LoRA训练,同Dreambooth,webui 扩展:
  • 训练选择2

三种模型在SD webui里存放的位置、使用方法,详见本课视频。

关键词

关键词资源全网很多,课堂预购了以下几套,在情报中心圈子里获取。

  • 20000+AI绘画关键词
  • 建筑类 Architecture Midjourney Prompts
  • 关键词生成器 Prompt Generator - SD Art  Excel版
  • https://promptomania.com/stable-diffusion-prompt-builder/
  • https://promptomania.com/midjourney-prompt-builder/
  • https://stable-diffusion-art.com/prompt-guide/

C站模型样例图关键词及参数一键拷贝方法:

Stable Diffusion 上手路径与常用操作

Stable Diffusion 上手路径与常用操作

扩展/插件安装

一些常见功能,如ControlNet,需要通过插件的方式来安装。

可以直接在webui的Extensions里进行操作。

Stable Diffusion 上手路径与常用操作

也可以手动安装,通过git clone或直接下载插件包的方式,详见:

插件安装、使用的教程全网资源也很多。

有疑问可在圈子、群内答疑。

No.4

ControlNet

掌握了基本图像生成后,可通过ControlNet进行更精确的控制,解决构图、精修等细节问题。

将在后续课程详细讲解。

ControlNet介绍及文档:

  • https://github.com/lllyasviel/ControlNet
  • https://github.com/Mikubill/sd-webui-controlnet

No.5

模型训练

模型训练用来解决进一步风格定制、内容细节生成、品牌形象植入等问题,也可以改善AI视频中如角色面部控制、造型定制等问题。

相关文章

班迪录屏怎么取消截图水印设置
班迪录屏怎么改存储位置
bandicam录制的视频默认存储在哪
网易云音乐电脑怎么设置播放器样式
酷狗音乐如何创建歌单
酷狗音乐如何单曲循环播放

发布评论