Hallo2：长时间、高分辨率音频驱动的肖像图像动画

教程简介

Hallo2 是由复旦大学 (Fudan University)、百度公司 (Baidu Inc) 和南京大学 (Nanjing University) 于 2024 年联合开发的一项先进技术，旨在生成长时间、高质量的唇形视频。该技术在原有的 Hallo 模型基础上进行了多项创新和改进，使其能够应对长时间视频生成中的挑战，并实现高分辨率的视觉效果。Hallo2 不仅能生成高质量的唇形视频，还能修复输入视频中的人脸模糊问题。通过先进的图像处理技术，模型能够在生成过程中自动修复人脸的不清晰部分，提升最终视频的视觉效果。

效果示例

* 唇形对齐

* 视频修复

图片描述

运行步骤

一、安装虚拟环境并安装相关依赖
1. 打开终端

图片描述

2. 输入 chmod +x setup_environment.sh 为配置环境的脚本添加可执行权限

3. 输入 ./setup_environment.sh 以运行配置环境的脚本（中间会有提示正在下载的依赖有哪些）
该步骤会出现多个进度条，绿色代表下载完成，红色代表正在下载，需要耐心等待一会儿（约 10 分钟左右）

图片描述

图片描述

* 如下图，为安装完成后的效果，警告可以忽略

图片描述

4. 在终端输入 conda activate hallo 激活虚拟环境，可以看到左边由 base 变为虚拟环境的名字 hallo。
然后输入 pip install --upgrade gradio 更新 gradio 包

图片描述

二、模型运行

1. 在 hallo 虚拟环境下输入 python app.py

图片描述

2. 待出现 8080 端口后，点击 API 地址的箭头处即可前往 gradio 界面（可以通过 CTRL+鼠标滚轮控制界面显示大小）

图片描述

3. 唇形生成功能展示

图片描述

4.上传完相应照片和音频数据后点击 Generate Video 按键出现下图中图表表示正在生成，耐心等待即可（经过测试，生成 2 秒钟的音频大约需要 2 分钟。Demo 仅支持生成 10 秒以内的内容）

图片描述

5. 生成后的效果可以点击播放键观看

图片描述

6. 高分辨率人脸修复功能展示，在该界面上传完需要修复的视频后点击 Run Super Resolution 后等待即可（同唇形生成功能，2 秒钟视频修复大约需要 3 分钟。Demo 仅支持生成 10 秒以内的内容）

图片描述

7. 生成结果后可以点击播放键查看效果

图片描述

探讨交流

🖌️ 如果大家看到优质项目，欢迎后台留言推荐！另外，我们还建立了教程交流群，欢迎小伙伴们扫码备注【教程交流】入群探讨各类技术问题、分享应用效果↓

图片描述

公共教程/Hallo2 高清长时音频驱动图像生成 Demo克隆

准备体验 OpenBayes？

公共教程
/
Hallo2 高清长时音频驱动图像生成 Demo