搭建一个图片变视频的AI(二)：开始搭建

前一章介绍了模型相关，现在开始搭建。

一：下载，解压ComfyUI

https://github.com/comfyanonymous/ComfyUI

上面链接中也有安装过程，可以参考。

也可以直接进入文件夹，直接运行，差什么，安装什么（我比较喜欢这样，因为我之前pip可能已经安装过了某些包）。最好借助AI，报错直接复制给AI,让它给出建议。

python .\main.py

根据报错，差什么，安装什么 pip install ...

特别注意：我一直遇到的问题，安装使用GPU的包时：pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121 。安装的版本是2.5.1，因为自动适配我的CUDA Version: 12.9版本。

但是在安装pip install xformers 时，会卸载 torch，重新安装 torch 时，安装2.4.0。导致版本冲突，最终解决方案：

先：
pip install torch==2.4.0 torchvision==0.19.0 torchaudio==2.3.0 --index-url https://download.pytorch.org/whl/cu121

然后：
pip install xformers==0.0.27.post2

结果完美适配我的CUDA。
不使用 xformers 也能运行，内存占用也非常大。建议尽可能使用 xformers

检查一下：

import torch

print("CUDA 可用:", torch.cuda.is_available())
print("当前设备:", torch.cuda.get_device_name(0))
print("CUDA 版本:", torch.version.cuda)
print("cuDNN 版本:", torch.backends.cudnn.version())

运行：python .\gpu.py

CUDA 可用: True
当前设备: NVIDIA GeForce GTX 1080
CUDA 版本: 12.1
cuDNN 版本: 90100

二：安装ComfyUI Manager

https://github.com/Comfy-Org/ComfyUI-Manager

下载解压到文件夹 ComfyUI/custom_nodes/  中。然后重新启动ComfyUI：python  main.py。

如果报错，差什么，安装什么。

三：安装节点

1：下载ComfyUI-DynamiCrafterWrapper

https://github.com/kijai/ComfyUI-DynamiCrafterWrapper

下载解压到文件夹ComfyUI/custom_nodes/  中。

2：模型下载：https://huggingface.co/Kijai/DynamiCrafter_pruned/tree/main

模型文件下载到文件夹\ComfyUI\models\checkpoints\ 中:

3： 然后重新启动ComfyUI：python  main.py。如果报错，差什么，安装什么。

四：启动服务ComfyUI：python  main.py

浏览器访问链接：

1：运行模型。这里可以自己研究添加节点，也可以直接使用DynamiCrafterWrapper提供的节点json（优先使用json）。json位置在 \ComfyUI\custom_nodes\ComfyUI-DynamiCrafterWrapper\examples，我使用的是dynamicrafter_i2v_example_01.json。

将这个json文件拖拽到浏览器中，这个时候ComfyUI Manager会自动检查是否需要安装其他插件，直接点击安装就行。

视频生成完成后，在文件夹 \ComfyUI\output\ 中。

 

 

2：注意选择的模型，越高档的模型占用CPU越大，选择的视频时间越长，占用GPU越大。

我的电脑GPU是专用8G，共享16G（可以不考虑，主要是专用GPU大小），这个配置一张图片生成视频（图片:914k，尺寸:576*1204，生成的视频3M，4s，8帧/s，尺寸576*1024），模型选择dynamicrafter_512。

一运行，GPU就100%，结果跑了一晚上才成功。

如果GPU小，可以选择更小的模型，DynamiCrafter256。图片也可以选小点的，生成的图片数调整小点。

三：总结

这种视频大模型要在本地运行，那本地机器必须是很强大才行，不然根本运行不动，那更不用说使用了。

后面再研究本地搭建图片+音频对嘴生成视频的AI.