一 Stable Diffusion XL 1.0
Stability AI 在7月26号重磅发布开源了 SDXL 1.0 模型,相较于 SDXL 0.9 的仅供研究的版本,这次的完整版本进步明显,是目前最好的开放图像生成模型。
SDXL 可以生成几乎任何艺术风格的高质量图像,尤其擅长照片写实主义
SDXL 和 SD1.5 模型 区别
SDXL 1.0是一种开放获取图像模型,基于一种创新的新架构,由一个35亿参数的基础模型和一个66亿参数的细化模型组成。
除此之外,SDXL 分为两个模型
- base: 通过基础模型生成出第一版图像
- refiner: 通过 refiner 进行优化添加更多的细节
当然也可以直接使用 base 模型即可。由于 SDXL 训练的图片为 1024 x 1024,所以在使用的时候将分辨率设置成对应的大小,效果会更好。(这可能需要至少 8GPU)
更好的艺术作品来呈现复杂概念和风格
SDXL 可以以几乎任何艺术风格生成高质量的图像,是最优秀的开源模型之一,尤其在逼真度方面表现出色。
SDXL 1.0 版本在鲜艳准确的颜色方面进行了特别调整,对比度、光线和阴影较其前身有所提升,图像分辨率达到了1024x1024,具有更好的效果。同时对于文字效果也有一定的提升。
更简单的提示词
SDXL只需要很少的词语就能创建复杂、详细且美观的图像。用户不再需要使用诸如“杰作”之类的限定词来获得高质量的图像。
此外,SDXL能够理解诸如“红场”(一个著名地点)与“红色正方形”(一个形状)之间的概念差异。
微调Lora和高级控制网络
通过SDXL 1.0,将模型进行自定义数据的精细调整比以往更加容易。无需大量数据整理即可生成自定义的LoRAs或检查点。稳定性人工智能团队正在构建下一代专注于SDXL的任务特定结构、风格和组合控制,其中T2I / ControlNet专为SDXL定制。
不过,这个功能目前处于beta预览阶段。
二 安装
1 升级 web ui 到1.5
如果你是使用的秋叶大佬的一键安装包,可以直接也启动器上直接切换版本到1.5+。
如果你是使用的云服务器或者自建,那么需要在安装目录对应的命令窗口执行
git stash
git pull -r
git checkout v1.5.1
2 模型下载
SDXL 有两个模型,分别是 base
和 refiner
,以及一个 lora
。每个模型都是6G+,如果你的空间不足,可以只下载 base。下载链接可以在公众号回复 模型 获取。
下载完成后放在对应的文件夹下即可
模型:你的web ui安装目录/models/Stable-diffusion/
lora:你的web ui安装目录/models/Lora
三 使用
使用起来就很简单了,和使用其他模型一样。
需要注意的是由于 SDXL 发布不久,所以可能会和你安装的其他的插件冲突,导致报错,出现报错,你可以先把插件禁用掉。
第一步: 选择 SDXL base 模型 给一个简单的提示词,并设置分辨率为 1024
模型:sd_xl_base
提示词:Two fashionably dressed pandas sit on stools in a coffee shop drinking coffee
可以发现只是使用底模型,在没有使用任何高清修复的情况下效果就挺好。再想想后续我们使用的其他所有模型再基于 sdxl base 进行优化,效果可见一斑!
第二步:使用 refiner 模型进行优化 1.将第一步的图发送到图生图中 2.将模型切换到 refiner 模型 3.将图生图的重绘幅度设置低一点(0.5左右即可)
效果还是不错的,相当于是画质提升+tile 细节填充了。
四 在线体验
如果你觉得麻烦,或者是想在等等,你也可以通过下面的几个网站尝尝鲜!
Playgroundai : https://playgroundai.com/
dreamstudio: https://dreamstudio.ai/
clipdrop: https://clipdrop.co/stable-diffusion
Discord: https://discord.gg/stablediffusion
最后在唠叨几个注意点,在 SDXL base 模型上出图的分辨率尽量设置在 1024 以上,不要在搞 512了(效果反而差)
现在下载的 模型、lora 以及 Embedding 可能都不适配 SDXL
模型,所以需要重新下载对应的版本