【零基础】speech driven animation中文安装使用指南

注：原项目名叫Speech-Driven Animation，所以我这里就简称为SDA

开局一张图，后面自动编

　　相信前段时间爆火的DeepNude（AI扒衣）让很多人惊掉了大牙，AI还能干这个？！如果你还不知道什么是DeepNude现在可以百度一下了，关注公众号“零基础爱学习”回复“DeepNude”也可以获取更多信息。

　　现在长江后浪推前浪，一浪更比一浪强啊，来自伦敦帝国学院的iBUG小组近日开源了一个AI项目SDA（Speech-Driven Animation），只需要一张图片，唱歌说话视频自动生成！比如：

　　施瓦辛格：

　　

　　开始说话：

　　

　　除了自动根据语音对口型，SDA还可以指定情绪，比如：

　　开心：

　　

　　难过：

　　

　　如果只是介绍下SDA就太没意思了，所以各位喜爱学习的程序员们有福了，本文其实是一篇完整的SDA安装和使用指南！（耗时一周整理完成！）。虽然本文已非常详细，不过开始之前还是有一点小小的要求：

　　1、必须要会用linux，熟悉Ubuntu最好

　　2、必须要会编程，熟悉python更好

Ubuntu与基础环境

　　使用SDA最大的坑就是操作系统一定要用Ubuntu！我一开始用centos来着，各种报错！换了Ubuntu各种顺利！比如项目需要用python3.6，而centos默认是2.7，安装的话一般会装3.8，结果就是不得行！必须是python3.6！项目也没啥文档，全靠自己摸索的！基础环境就两个重点：

　　1、操作系统：Ubuntu（重要！）

　　　　我下载的版本是这个“ubuntu-18.04.2-live-server-amd64.iso”

　　2、python3.6（Ubuntu默认自带python3.6）

git与git lfs安装

　　SDA项目发布在git，其中AI训练生成的数据包大概有2G左右，所以需要使用git lfs（大文件专用）来下载项目源码

　　1、安装git

　　sudo apt install git

　　2、安装git lfs

　　sudo apt install git-lfs

　　sudo git init

　　sudo git lfs install

依赖包安装

　　SDA项目使用了大量的python扩展包，比如torch、scikit、opencv等等，这里我们先安装一些依赖包

　　1、pip，先安装pip，后面一些依赖包需要使用pip

　　sudo apt install python3-pip

　　2、setuptools，安装python扩展包必备工具

　　sudo apt install python3-setuptools

　　3、一些建议先安装的包（文末附下载方式）　

　　这几个包是安装SDA时会自动下载安装的，如果你发现下载比较慢的话（torch有600多M）可以试试先从百度云下载（文末附下载链接）自行安装。

　　1）opencv

　　　　sudo pip3 install opencv_python-4.1.0.25-cp36-cp36m-manylinux1_x86_64.whl

　　2）torch

　　　　sudo pip3 install torch-1.1.0-cp36-cp36m-manylinux1_x86_64.whl

　　3）scikit

　　　　sudo pip3 install scikit_image-0.15.0-cp36-cp36m-manylinux1_x86_64.whl

　　4）scipy

　　　　sudo pip3 install scipy-1.3.0-cp36-cp36m-manylinux1_x86_64.whl

　　4、ffmpeg，SDA涉及视频操作，所以ffmpeg是必须安装的，这里我们直接从git获取安装包

　　　　sudo git clone https://git.ffmpeg.org/ffmpeg.git ffmpeg

　　到下载的ffmpeg包中依次执行./configure、make、make install

安装SDA（speech-driven-animation）

　　SDA安装包可以通过git lfs直接获取（2G左右），也可以从云盘下载（文末附下载链接）。这里演示的是从git lfs下载。

　　1、获取SDA安装包

　　sudo git lfs clone https://github.com/DinoMan/speech-driven-animation.git

　　2、git会下载一个目录speech-driven-animation，进入该目录执行如下指令

　　sudo python3 setup.py build

　　sudo python3 setup.py install

　　（会自动下载一些依赖包）

　　SDA就算是安装好了，看似简简单单数个命令，却是辛苦一周试出来的啊！

依赖包安装2

　　前面安装的几个依赖包只是SDA安装需要的，想要使用SDA来干活儿还得继续安装！

　　1、libXrender

　　sudo apt install libxrender1

　　2、libSM

　　sudo apt install libsm6

　　3、torchaudio

　　sudo pip3 install git+https://github.com/pytorch/audio@d92de5b　　//下载并安装老版本的torchaudio

　　（这里又是个坑，SDA需要torch和torchaudio，但是最新版torchaudio与torch有兼容性问题，所以需要使用老版本的torchaudio！）

　　4、sox

　　sudo apt install sox libsox-dev libsox-fmt-all

　　（这里也是个坑，只有Ubuntu能正常安装sox，centos不得行！）

　　5、torchvision

　　sudo pip3 install torchvision

编写测试代码

　　找到前面下载的speech-driven-animation目录，进入之，可以看到一个“example”目录，进入之，能看到audio.wav、image.bmp两个文件，是项目组提供测试的图片和音频文件，我们就在这里写一段测试代码：

　　vi test.py　　//然后输入下列代码：　

　　import sda
　　va = sda.VideoAnimator()
　　vid, aud = va("image.bmp", "audio.wav")
　　va.save_video(vid, aud, "/home/XXX（这里根据实际情况填写）/speech-driven-animation/example/test.mp4") //这里要写完整的路径，不要问为什么，反正不这么写就报错

　　保存后使用下列指令测试：

　　sudo python3 test.py

　　运行成功了吗？是不是又卡主了...应该会提示：

　　Downloading the face detection CNN. Please wait...

　　Downloading the Face Alignment Network(FAN). Please wait...

　　因为face_alignment这个扩展包的训练数据还没下载呢...你需要将：

　　s3fd_convert.pth、2DFAN-4.pth.tar这两个文件放到“/home/XXX（这里根据实际情况填写）/.face_alignment/data/”目录下（可搜索.face_alignment找到此目录），文末附下载方式。

　　好啦，现在再次执行测试：

　　sudo python3 test.py

　　没有报错的话，可以看看目录下是不是生成了一个test.mp4，赶紧下载到电脑上看看吧！

各种包下载方式

　　因为很多包从git、pypi下载很慢，所以我这里提供了几个比较大的包、关键文件的百度云下载。关注公众号“零基础爱学习”，回复“SDA”获取下面的资料：

　　1、speech-driven-animation.tar.gz 　　SDA源码包，已包含了训练文件（2G）

　　2、scipy-1.3.0-cp36-cp36m-manylinux1_x86_64.whl 　　SDA依赖包

　　3、scikit_image-0.15.0-cp36-cp36m-manylinux1_x86_64.whl　　SDA依赖包

　　4、torch-1.1.0-cp36-cp36m-manylinux1_x86_64.whl　　SDA依赖包

　　5、opencv_python-4.1.0.25-cp36-cp36m-manylinux1_x86_64.whl　　SDA依赖包

　　6、s3fd_convert.pth、2DFAN-4.pth.tar　　face_alignment训练文件

　　7、audio-d92de5b97fc6204db4b1e3ed20c03ac06f5d53f0.zip　　老版本的torchaudio

常见报错

　　针对一些常见的报错现象，最后总结一下给大家

　　1、ModuleNotFoundError: No module named 'setuptools'

　　需要安装setuptools　　sudo apt install python3-setuptools

　　2、torchaudio/torch_sox.cpp:3:10: fatal error: sox.h: No such file or directory

　　没有安装sox　　sudo apt install sox libsox-dev libsox-fmt-all（需要是Ubuntu操作系统）

　　3、RuntimeError: Failed to parse the argument list of a type annotation: name 'Optional' is not defined

　　你可能是最新版torchaudio的受害者（新版torchaudio与torch间有bug），所以你需要的是老版本：sudo pip3 install git+https://github.com/pytorch/audio@d92de5b

　　4、libSM.so.6: cannot open shared object file: No such file or directory

　　缺包　　sudo apt install libsm6

　　5、ImportError: libXrender.so.1: cannot open shared object file: No such file or directory

　　缺包　　sudo apt install libxrender1

　　6、_pickle.UnpicklingError: invalid load key, 'v'.

　　如果你遇到这报错，最大的可能性是你直接在git上下载源码了吧，不得行的，项目使用了git lfs，所以需要使用lfs下载源码（将项目中的大文件一起下载了）

　　先装git和git lfs：sudo apt install git、sudo apt install git-lfs、git init、sudo git lfs install

　　再获取项目源码：git lfs clone https://github.com/DinoMan/speech-driven-animation.git

　　7、Error: Failed to call git rev-parse --git-dir --show-toplevel: "fatal: not a git repository (or any of the parent directories): .git\n"

　　git lfs install之前要先执行git init

　　8、speech-driven-animation测试时没有视频文件输出

　　va.save_video(vid, aud, "/home/XXX（这里根据实际情况填写）/speech-driven-animation/example/test.mp4") 这里需要填写完整的路径

　　9、ModuleNotFoundError: No module named 'torchvision'

　　缺少torchvision包　　sudo pip3 install torchvision

　　10、ModuleNotFoundError: No module named 'torchaudio'

　　缺少torchaudio包　　sudo pip3 install git+https://github.com/pytorch/audio@d92de5b

　　11、ImportError: libsox.so.2: cannot open shared object file: No such file or directory

　　没有安装sox，而且你可能正在使用非Ubuntu系统　　sudo apt install sox libsox-dev libsox-fmt-all（需要是Ubuntu操作系统）

　　12、ImportError: /lib64/libstdc++.so.6: version `GLIBCXX_3.4.20' not found

　　gcc版本低，而且你可能正在使用非Ubuntu系统。使用Ubuntu就没有这个问题。当然你也可以下载最新的gcc来安装...

　　13、ImportError: /usr/local/lib/python3.6/site-packages/_torch_sox.cpython-36m-x86_64-linux-gnu.so: undefined symbol: _ZN2at19UndefinedTensorImpl10_singletonE

　　还是sox的问题，而且你可能正在使用非Ubuntu系统，换用Ubuntu就没这个问题了