蚂蚁集团开源 EchoMimic:支持为人像照片对口型、生成肖像动画视频

2024年 7月 12日 75.1k 0

蚂蚁集团发布了开源项目 EchoMimic。据介绍,EchoMimic 不仅能根据人像面部特征和音频来帮人物对口型,还可以结合面部标志点和音频内容生成较为稳定、自然的视频。

GitHub:https://github.com/BadToBest/EchoMimic

蚂蚁集团开源 EchoMimic:支持为人像照片对口型、生成肖像动画视频-1

EchoMimic 具备较高的稳定性和自然度,通过融合音频和面部标志点(面部关键特征和结构,通常位于眼、鼻、嘴等位置)的特征,可生成更符合真实面部运动和表情变化的视频。

其支持单独使用音频或面部标志点生成肖像视频,也支持将音频和人像照片相结合做出“对口型”一般的效果。

下图是 EchoMimic 的工作原理:

蚂蚁集团开源 EchoMimic:支持为人像照片对口型、生成肖像动画视频-2

EchoMimic 支持多语言(包含中文普通话、英语)及多风格,也可应对唱歌等场景。

访问主页查看更多示例:https://badtobest.github.io/echomimic.html

蚂蚁集团开源 EchoMimic:支持为人像照片对口型、生成肖像动画视频-3

相关文章

塑造我成为 CTO 之路的“秘诀”
“人工智能教母”的公司估值达 10 亿美金
教授吐槽:985 高校成高级蓝翔!研究生基本废了,只为房子、票子……
Windows 蓝屏中断提醒开发者:Rust 比 C/C++ 更好
Claude 3.5 Sonnet 在伽利略幻觉指数中名列前茅
上海新增 11 款已完成登记生成式 AI 服务

发布评论