Stable Diffusion 跑图神器:LCMLoRA 4 步出图实战

2024年 2月 14日 47.1k 0

最近一直比较流行的 LCM-LoRA 模型,只需要四个迭代步数就可以生成质量不错的图片,可以大大的加快我们跑图的效率!

一 LCM-LoRA

Stable Diffusion 跑图神器:LCM-LoRA 4 步出图实战

潜在一致性模型 Latent Consistency Model (LCM) 在潜在扩散模型中应用了一致性模型Consistency Model(CM)相同的原理(CM 是一类新型扩散模型,经过训练可一步生成图像),从而实现极少的步数出图

一般情况需要为每一个大模型训练一个新的 LCM,非常不方便

而 LCM-LoRA 是使用一致性方法通过稳定扩散基础模型(v1.5 和 SDXL)训练的 LoRA 模型。

它可以与任何自定义检查点模型一起使用,将图像生成速度加快到仅需四个迭代步数。

也就是说 LCM-LoRA 和普通的 LoRA 使用方式一样,支持 v1.5 和 SDXL,且只需要4步即可出图

二 下载

想要支持 v1.5 和 SDXL,需要下载各自版本的 LoRA,考虑到大家的网络原因,大家可以直接回复 lora 获取网盘地址按需下载

  • v1.5: lcm-lora-sdv1-5.safetensors
  • SDXL: latent-lcm-lora-sdxl.safetensors

下载完成后将 LoRA 放在 stable-diffusion-webui/models/Lora 中

三 上手体验

SD1.5 模型对比

不使用 LCM-LoRA

模型:majicMIX realistic v6
提示词:Best quality,masterpiece,ultra high res,(photorealistic:1.4),raw photo,1girl,silver hair,shiny skin,dramatic lighting
采样方法:Euler
尺寸:512x512
步数:20
CFG:7

Stable Diffusion 跑图神器:LCM-LoRA 4 步出图实战

因为分辨率只有512,且没有高清修复,质量一般般。

使用 LCM-LoRA

模型:majicMIX realistic v6
提示词:Best quality,masterpiece,ultra high res,(photorealistic:1.4),raw photo,1girl,silver hair,shiny skin,dramatic lighting,
, // 替换成自己下载的 LoRA
采样方法:Euler
尺寸:512x512
步数:4
CFG:1.2

需要注意的是,步数我们需要控制在 2~8 之间,CFG 在 1~2 之间。Stable Diffusion 跑图神器:LCM-LoRA 4 步出图实战

整体效果和不使用 LCM-LoRA 几乎没太大区别,但步数却只需要 4 步即可,但却只用了不到2s的时间

SDXL 模型对比

不使用 LCM-LoRA

模型:sd base sdxl
提示词:Best quality,masterpiece,ultra high res,(photorealistic:1.4),raw photo,1girl,silver hair,shiny skin,dramatic lighting,

采样方法:Euler
尺寸:1024x1024
步数:20
CFG:7

Stable Diffusion 跑图神器:LCM-LoRA 4 步出图实战

SDXL 整体效果要比 SD1.5 要好上一些,但磨皮效果太明显了,在来看看加上 LCM-LoRA 之后的效果

使用 LCM-LoRA

模型:sd base sdxl
提示词:Best quality,masterpiece,ultra high res,(photorealistic:1.4),raw photo,1girl,silver hair,shiny skin,dramatic lighting,
, // 替换成自己下载的 SDXL LoRA
采样方法:Euler
尺寸:1024x1024
步数:4
CFG:1.2

Stable Diffusion 跑图神器:LCM-LoRA 4 步出图实战

emmm...  怎么说,有点难评,LCM-LoRA 的细节反而比没有 LoRA 的 SD base 的图效果好。

目前来看 SDXL 上应用 LCM-LoRA 的效果和场景相对于 SD1.5 来说还有一些提高。

四 参数对比

迭代步数

前面参数的配置主要设计到 迭代步数 和 CFG,官方建议的参数

  • 迭代步数:2~8
  • CFG:1~2

我们通过 X/Y/Z 脚本来看看效果(使用 SD1.5 测试),在 CFG 在 1~2 之间 使用 Euler 采样方法,步数在4~10 之间效果都还是挺给力!为了追求性价比,出图质量也不错的情况下应该选择更少的步数Stable Diffusion 跑图神器:LCM-LoRA 4 步出图实战

高清修复

再来跑一张高清修复的对比。其它参数都不变的情况下,使用 Latent 方法算法。最后耗费的时间相差一倍多。使用 LCM-LoRA 只需要 3s ,不使用的情况则需要 7.5sStable Diffusion 跑图神器:LCM-LoRA 4 步出图实战

五 应用场景

LCM-LoRA 的出现可以大大的降低我们跑图、试图的时间成本,同时能保证不错的质量,抽到我们想要的图之后,也可以拿到种子,再重新跑出高质量的图。

下面是一些常用的场景

  • X/Y/Z 跑图:平时我们需要测试各种参数时,都会使用 X/Y/Z 来跑图,使用 LCM-LoRA 极大的降低了花费的时间。上面我们跑的例子,生成了60张图,只需要了1.30分的时间.
  • 其它跑图:比如 AnimateDiff
  • 实时 Prompt:当我们想要测试提示词的影响时,需要出图的高实时性,那么 LCM-LoRA 也是能派上大用场
  • 实时绘画渲染:这个相信大家都知道,实时涂鸦,然后生成实时图片
  • 实时投影渲染:在进阶一些就是投影视频/摄像头进行渲染

相关文章

班迪录屏怎么取消截图水印设置
班迪录屏怎么改存储位置
bandicam录制的视频默认存储在哪
网易云音乐电脑怎么设置播放器样式
酷狗音乐如何创建歌单
酷狗音乐如何单曲循环播放

发布评论