Latte 全球首个开源文生视频 DiT

Paper | Project Page

项目简介

随着 Sora 的成功发布，视频 DiT 模型得到了大量的关注和讨论。设计稳定的超大规模神经网络一直是视觉生成领域的研究重点，DiT 的成功为图像生成的规模化提供了可能性，Latte (Latent Diffusion Transformer for Video Generation) 是 2023 年 11 月开源的一种用于视频生成的创新模型，Latte 作为全世界首个开源文生视频 DiT，已经取得了很有前景的结果。

该教程为 Latte 项目的效果实现演示。

效果展示

使用教程

使用 Latte 进行自定义文本到视频的生成

1.克隆容器并运行

2.打开工作空间，设置文本 prompt

在左侧打开配置文件 home/Latte/configs/t2v/t2v_sample.yaml，双击打开,修改 text_prompt 下的文本，本文已经给出相关实例，如下图。修改完成后 ctrl+S 保存。

3.生成视频

打开终端输入：cd Latte/ 切换目录，

在终端输入：bash sample/t2v.sh 进行高清视频生成，等待程序运行结束后，通过左侧 Latte/sample_videos 目录下生成结果,t2v_0000-.mp4 为提示文本的总视频，其他 .mp4 文件为单个 prompt 所生成的视频。

注意：生成的视频无法子在容器中直接查看，需要右键点击文件下载视频至本地查看。

其他代码信息

Latte 推理代码

Latte 在四个标准视频生成数据集（即 FaceForensics、SkyTimelapse、UCF101 和 Taichi-HD）进行训练可以得到四个模型，每个模型会生成对应场景的 Video，下面进行操作讲解：首先进入项目,打开终端输入：cd Latte/

1. FaceForensics：人脸合成图像检测

在终端输入：bash sample/ffs.sh

进行人脸生成，在程序结束后，通过左侧 Latte/test_ffs目录下查看生成结果。

注意：每次生成结果会覆盖前次结果。

2. SkyTimelapse：摄影的天空图像

在终端输入：bash sample/sky.sh

进行天空生成，在程序结束后，通过左侧 Latte/test_sky目录下生成结果,将其下载至本地查看。

3. UCF101：现实动作视频的动作识别

在终端输入：bash sample/ucf101.sh

进行现实动作生成，在程序结束后，通过左侧 Latte/test_UCF101 目录下生成结果,将其下载至本地查看。

4. Taichi-HD；高清晰度视频生成

在终端输入：bash sample/taichi.sh

进行高清视频生成，在程序结束后，通过左侧 Latte/test_Taichi 目录下生成结果,将其下载至本地查看。

探讨交流

🖌️ 如果大家看到优质项目，欢迎后台留言推荐！另外，我们还建立了教程交流群，欢迎小伙伴们扫码入群探讨各类技术问题、分享应用效果↓

📬 若二维码失效，可扫码备注【教程交流】添加小贝总微信

二维码

公共教程/Latte 全球首个开源文生视频 DiT克隆

准备体验 OpenBayes？

公共教程
/
Latte 全球首个开源文生视频 DiT