Stable Diffusion XL 1.0 史诗级增强!WEB UI 集成 & 在线使用

2023年 8月 26日 40.6k 0

一 Stable Diffusion XL 1.0

Stability AI 在7月26号重磅发布开源了 SDXL 1.0 模型,相较于 SDXL 0.9 的仅供研究的版本,这次的完整版本进步明显,是目前最好的开放图像生成模型。

SDXL 可以生成几乎任何艺术风格的高质量图像,尤其擅长照片写实主义

SDXL 和 SD1.5 模型 区别

Stable Diffusion XL 1.0 史诗级增强!WEB UI 集成 & 在线使用

SDXL 1.0是一种开放获取图像模型,基于一种创新的新架构,由一个35亿参数的基础模型和一个66亿参数的细化模型组成。

除此之外,SDXL 分为两个模型

  • base: 通过基础模型生成出第一版图像
  • refiner: 通过 refiner 进行优化添加更多的细节

当然也可以直接使用 base 模型即可。由于 SDXL 训练的图片为 1024 x 1024,所以在使用的时候将分辨率设置成对应的大小,效果会更好。(这可能需要至少 8GPU)

更好的艺术作品来呈现复杂概念和风格

Stable Diffusion XL 1.0 史诗级增强!WEB UI 集成 & 在线使用

 

SDXL 可以以几乎任何艺术风格生成高质量的图像,是最优秀的开源模型之一,尤其在逼真度方面表现出色。

SDXL 1.0 版本在鲜艳准确的颜色方面进行了特别调整,对比度、光线和阴影较其前身有所提升,图像分辨率达到了1024x1024,具有更好的效果。同时对于文字效果也有一定的提升。

更简单的提示词

Stable Diffusion XL 1.0 史诗级增强!WEB UI 集成 & 在线使用

SDXL只需要很少的词语就能创建复杂、详细且美观的图像。用户不再需要使用诸如“杰作”之类的限定词来获得高质量的图像。

此外,SDXL能够理解诸如“红场”(一个著名地点)与“红色正方形”(一个形状)之间的概念差异。

微调Lora和高级控制网络

Stable Diffusion XL 1.0 史诗级增强!WEB UI 集成 & 在线使用-1

 

通过SDXL 1.0,将模型进行自定义数据的精细调整比以往更加容易。无需大量数据整理即可生成自定义的LoRAs或检查点。稳定性人工智能团队正在构建下一代专注于SDXL的任务特定结构、风格和组合控制,其中T2I / ControlNet专为SDXL定制。

不过,这个功能目前处于beta预览阶段。

二 安装

1 升级 web ui 到1.5

如果你是使用的秋叶大佬的一键安装包,可以直接也启动器上直接切换版本到1.5+。

如果你是使用的云服务器或者自建,那么需要在安装目录对应的命令窗口执行

git stash
git pull -r
git checkout v1.5.1

2 模型下载

SDXL 有两个模型,分别是 base 和 refiner,以及一个 lora。每个模型都是6G+,如果你的空间不足,可以只下载 base。下载链接可以在公众号回复 模型 获取。

下载完成后放在对应的文件夹下即可

模型:你的web ui安装目录/models/Stable-diffusion/
lora:你的web ui安装目录/models/Lora

三 使用

使用起来就很简单了,和使用其他模型一样。

需要注意的是由于 SDXL 发布不久,所以可能会和你安装的其他的插件冲突,导致报错,出现报错,你可以先把插件禁用掉。

第一步: 选择 SDXL base 模型 给一个简单的提示词,并设置分辨率为 1024

模型:sd_xl_base

提示词:Two fashionably dressed pandas sit on stools in a coffee shop drinking coffee

Stable Diffusion XL 1.0 史诗级增强!WEB UI 集成 & 在线使用

可以发现只是使用底模型,在没有使用任何高清修复的情况下效果就挺好。再想想后续我们使用的其他所有模型再基于 sdxl base 进行优化,效果可见一斑!

第二步:使用 refiner 模型进行优化 1.将第一步的图发送到图生图中 2.将模型切换到 refiner 模型 3.将图生图的重绘幅度设置低一点(0.5左右即可)

Stable Diffusion XL 1.0 史诗级增强!WEB UI 集成 & 在线使用

效果还是不错的,相当于是画质提升+tile 细节填充了。

四 在线体验

如果你觉得麻烦,或者是想在等等,你也可以通过下面的几个网站尝尝鲜!

Playgroundai : https://playgroundai.com/

dreamstudio: https://dreamstudio.ai/

clipdrop: https://clipdrop.co/stable-diffusion

Discord:  https://discord.gg/stablediffusion

最后在唠叨几个注意点,在 SDXL base 模型上出图的分辨率尽量设置在 1024 以上,不要在搞 512了(效果反而差)

现在下载的 模型、lora 以及 Embedding 可能都不适配 SDXL 模型,所以需要重新下载对应的版本

相关文章

班迪录屏怎么取消截图水印设置
班迪录屏怎么改存储位置
bandicam录制的视频默认存储在哪
网易云音乐电脑怎么设置播放器样式
酷狗音乐如何创建歌单
酷狗音乐如何单曲循环播放

发布评论