使用horovod构建分布式深度学习框架

　　最近两周一直在尝试着分布式深度学习的架构，主要的原因一方面是几台机子全是1060卡，利用深度网络在较大数据样本上训练的效率极其低下，所以尝试着将几台机子做成分布式，看看能否提高训练效率；第二方面是有人习惯使用tensorflow，有人习惯使用keras，也有人喜欢使用pytorch等，虽然这些框架各自都有分布式的实现，但总的来说不能统一到一个平台上，造成使用上有不好的体验。在查资料的时候正好看到了horovod这个框架，它是集成了多个深度框架的一个统一平台，搭建和使用起来都比较方便，所以打算尝试基于horovod搭建一个分布式环境，供后期使用。可惜没有使用docker去部署，其中配置的过程中遇到不少坑，还好都解决了。

　　准备工作：1.一开始我是利用虚拟机虚拟了三台机子进行了cpu版的成功测试，可惜GPU无法用在虚拟环境上。

　　　　　　    2.后来弄了两台真实的物理机，将原windows都改为linux系统。

　　　　　　　　a.安装nvidia驱动

　　　　　　　　b.安装cuda

　　　　　　　　c.安装cudnn

　　　　　　　　d.安装pytorch和tf

　　　　　　　　e.两台机子ssh相互免密码登录

　　　　　　　　f.nfs共享文件系统，将脚本和样本放在这里

　　　　　　　　g.openmpi的安装配置

　　　　　　　　h.nccl的安装配置

　　　　　　　　i.horovod的安装配置

　（我这里使用的版本是:ubuntu16.0.4、nvidia384.130、cuda9.0、cudnn7.6.4、pytorch1.1.0、tf1.12、nccl2、openmpi4.0.0...）

　　注意：在安装这些工具的时候，需要注意各自匹配的版本以及环境的配置，否则安装不成功，需要耐心。　　

　　环境在配置好后，进行了测试。有个问题是在指定命令运行的时候，多机多gpu会出现bash: orted: command not found，单机可以运行。这里解决的办法有2种：第一　　　　　　是在安装 openmpi时指定--prefix=openmpi安装目录；第二种是在运行时指定命令--prefix openmpi安装目录。