EchoMimic

EchoMimic是一个蚂蚁集团支付宝基于音频驱动的肖像动画生成工具，通过可编辑的特征点条件生成逼真、自然的动画，用户可以根据自己的需求调整动画细节，可用于虚拟主播、视频编辑等，效果比SadTalker、MuseTalk好，表情更丰富动作更顺畅。

EchoMimic可以根据人像面部特征和音频来帮人物对口型，结合面部标志点和音频内容生成较为稳定、自然的视频。

EchoMimic功能:

• 音频驱动动画，可以根据音频生成人物肖像的动画，比如唱歌、说话视频等。

• 姿势驱动动画，可以根据姿势数据生成人物肖像的动画。

• 音频和姿势混合驱动动画，可以同时使用音频和姿势数据来生成动画。

• WebUI 和 GradioUI，提供图形界面，易于使用。

• 可编辑的标志调节：用户可以选择特定的面部标志来控制动画，提供更大的灵活性和定制性。

• 支持多语言（包含中文普通话、英语）及多风格，也可应对唱歌等场景。

EchoMimic应用：

• 肖像图像动画：使用音频输入从静态图像创建动态视频，可用于娱乐、虚拟化身和数字通信。

• 增强稳定性和自然度：通过结合两种输入，克服音频驱动方法的不稳定性和关键点驱动方法的不自然性。

• 可定制的动画：用户可以编辑特定的面部标志以实现所需的动画效果。

ComfyUI EchoMimic：https://github.com/smthemex/ComfyUI_EchoMimic

EchoMimic项目：https://badtobest.github.io/echomimic.html

EchoMimic Github：https://github.com/BadToBest/EchoMimic

EchoMimic模型：https://huggingface.co/BadToBest/EchoMimic

EchoMimic 由蚂蚁集团支付宝终端技术部开发的音频输入驱动创建逼真肖像动画的技术。它使用可编辑的地标调节来实现逼真的面部动作和表情，从而实现高度可定制且外观自然的动画。