Stable Diffusion AI绘画控制人物脸部和手的方法

2023年 7月 15日 46.0k 0

“ 目前Stable Diffusion在人体姿态控制方面已经取得了比较稳定的效果,但是在人脸和手部姿势的控制上还没有很好的解决,经常会出现崩手和崩脸的情况。”01—

After Detailer解决崩脸的问题

After Detailer是sd的一个扩展,类似于Detection  Detailer,不同的是它用ultralytics代替了mmdet。

首先我们启动SD,然后再扩展界面,选择从网址https://github.com/Bing-su/adetailer.git安装此扩展,然后重启UI

然后我们用国风3生成图片如图

Stable Diffusion AI绘画控制人物脸部和手的方法

面部图像不是很完美,有一点崩脸的情况,然后我们再开启ADetailer,

Stable Diffusion AI绘画控制人物脸部和手的方法

选择模型face_yolov8n.pt,然后提示词用detailed face,生成图像如下,脸部有了明显的改善,但是崩手的问题依然没有解决,没关系,接着往下看,我们尝试不同的方法来解决这个问题

Stable Diffusion AI绘画控制人物脸部和手的方法 02—

崩手问题解决

第一种方法我们用embedding模型,在C站上有很多模型,比如

Stable Diffusion AI绘画控制人物脸部和手的方法

我们下载模型然后将模型放在embedding目录下,然后在负面提示中加入negative_hand-neg,然后生成图像,对比上面崩手的问题有了明显的改善

Stable Diffusion AI绘画控制人物脸部和手的方法

第二种方法我们用LyCORIS模型来解决,LyCORIS和LORA差不多,都是微调模型,C站上同样也有,我们下载如图这个模型,然后放到LyCORIS文件夹

Stable Diffusion AI绘画控制人物脸部和手的方法

然后在提示词中加入  ,生成如下图片,崩手问题也得到了很好的解决

Stable Diffusion AI绘画控制人物脸部和手的方法

第三种方法,我们用controlnet来进行手势控制

Stable Diffusion AI绘画控制人物脸部和手的方法

将崩手的图片拖到controlNET unit0,然后点击Stable Diffusion AI绘画控制人物脸部和手的方法进行预览,预览图如下图所示

Stable Diffusion AI绘画控制人物脸部和手的方法

然后点击编辑预览图

Stable Diffusion AI绘画控制人物脸部和手的方法

这里需要注意的是,如果点编辑报错,需要安装openpose editor,点击不同的部位,比如左手,右手进行编辑,编辑完成后发送到ControlNet

Stable Diffusion AI绘画控制人物脸部和手的方法

再次文生图,得到如下效果

Stable Diffusion AI绘画控制人物脸部和手的方法

看上去效果有改善,但还需要进一步微调

上面介绍的三种解决崩手的方法,可以用一种,也可以多种方法同时启用,只要能够效率的解决问题即可。

相关文章

班迪录屏怎么取消截图水印设置
班迪录屏怎么改存储位置
bandicam录制的视频默认存储在哪
网易云音乐电脑怎么设置播放器样式
酷狗音乐如何创建歌单
酷狗音乐如何单曲循环播放

发布评论