02准备条件
要制作这个视频效果,需要你满足以下2个条件
- 一段ikun的【鸡你太美】的原版视频
- 安装好controlnet插件,里面要有qrcode这个模型才行
- isnet_Pro插件安装
03插件安装
3.1 Controlnet插件安装
如果你是安装的秋叶整合包,里面就自带了controlnet插件了,如果没有的话
再安装一遍就行
扩展那边去安装,路径依次是
1:扩展-从网址安装
2:在扩展的git仓库网址输入
https://github.com/Mikubill/sd-webui-controlnet
下载后路径是在
sd-webui-aki-v4.2extensions
如果上传在扩展那边一直下载不成功,那就用最简单的方法,先安装好git工具
controlnet里面模型下载地址,包含了需要用到的qrcode模型
夸克网盘链接:
https://pan.quark.cn/s/7e347e998dea
3.2 isnet_Pro插件安装
isnet_Pro插件可以帮我们把视频切成帧ikun视频动画,也可以把ikun视频动画合成成视频,还可以生成简单的蒙版图,以及背景透明的图(适合主体和背景层次分明的),我们这边就用到了上述的这些功能。
下面介绍下怎么安装
插件官网:https://github.com/ClockZinc/sd-webui-IS-NET-pro
打开设置-从网址安装,输入下面这段安装即可,安装好了记得重启下webUi
https://github.com/ClockZinc/sd-webui-IS-NET-pro.git
04实战流程步骤
这里整理下要制作上面完整AI动画的步骤
- 用isnet_Pro的frame2video把视频切成每一帧
- 用isnet_Pro的INSNETpro2生成透明背景的图
- 文生图制作融合图效果
- 锁定seed,批量出图
- 图都出来后,在isnet_Pro中把帧ikun视频动画合并成视频。
- 在剪映中把原视频的声频提取出来,导入新视频,最终导出mp4即可
4.1 用isnet_Pro的frame2video把视频切成每一帧
首先先切换到安装好的isnet_Pro这个插件这边,在frame2video这边,先把视频切成每一帧,操作如下图所示
处理好了会生成如下这样ikun视频动画
4.2 用isnet_Pro的INSNETpro2生成透明背景的图
生成好序列帧ikun视频动画后,切换到 ISNETpro2这边,把刚才序列帧ikun视频动画路径配置到输入地址,输出地址也配置一个,然后点击 开始批量生成按钮。
这样就生成了透明背景的图了,如下所示。
4.3 文生图,制作特效
这一步和之前制作ikun融合效果图一样,下面给出方案
正面词:
best quality,masterpiece,(photorealistic:1),ultra high res,highres,8k wallpaper,official art,(realistic:1.2),night,a bustling city,(vehicle passage:1.1),neon light,(lots of traffic:1.1),wide-angle view,aerial view,
负面词:
NSFW, (worst quality:2), (low quality:2), (normal quality:2), lowres, normal quality, ((monochrome0),((grayscale)), skin spots, acnes, skin blemishes, age spot, (ugly:1.331), (duplicate:1.331), (morbic d:1.21),(mutilated:1.21),(tranny:1.331),mutated hands,(poorly drawn hands:1.5), blurry, (bad anatomy:1.21), (bad proportions:1.331), extra limbs,(disfigured:1.331),(missingarms:1.331),(extra legs:1.331),(fused fingers:1.61051),(toe omany fingers:1.61051),(uncleareyes:1.331),lowers, bad hands,missingfingers, extra digit,bad ha ands, missing fingers, ((extra arms and legs))),(humen,girl,man,boy:1.5)
controlnet这里,把刚才生成的透明背景图拿一张出来放上去,预处理不选择,模型选择control_v1p_sd15_qrcode_monster,权重选择1.7
多跑几张图看看效果,满意为止
4.4 锁定seed,批量出图
出到满意的图了,seed回填,然后contrlNet切换到批量处理,把刚才透明背景图的文件夹路径填入,就可以批量绘制了。这种方案是逐帧制作,所以比较费时间。
最终效果这样,把生成的图都拷贝到一个文件夹目录下,方便后面合并。
4.5 有问题的图排查重绘
如果出的图里面出现有问题的,需要重新生图,一个小技巧就是,把这张的透明原图继续拖到controlnet里面,然后其他参数都不变,只要把批量次数调整成3就行,这样出的3张图里面 基本可以有一张是正确。
4.6 合并成视频
素材都弄完了,接下来就是要合并成视频了,打开isnet_Pro的video2frame,配置好ikun视频动画输入地址以及视频输出地址,点击合并即可。
合成后控制台会输出
目录下面也出现了生成好的视频,这种生成的视频是没有声音的。
4.7 剪映中处理视频
打开剪映,先导入原视频把音频分离出来,然后再导入制作好的视频,再配合上次推荐的模板就可以实现一个完整的效果视频了。
05 总结
这就是制作ikun的鸡你太美打球视频的AI动画效果图完整教程,制作过程不难,就是太吃电脑显卡配置了,15秒的视频按30帧切图再重绘的话,要重绘400多张图。每一帧都是你心爱的鸽鸽。