多网卡系统下如何使用tcp协议实现MPI的分布式多机运行（mpi的实现使用openmpi）

如题：

最近在看MPI方面的东西，主要是Python下的MPI4PY，学校有超算机房可以使用MPI，但是需要申请什么的比较麻烦，目的也本就是为了学习一下，所以就想着在自己的电脑上先配置一下。

现有硬件：两台装有Ubuntu18.04的操作系统（下面简称A电脑，B电脑）

A电脑： 24物理核心（48逻辑核心）

B电脑：6物理核心（12逻辑核心）

网络：

A、B电脑之间使用100M以太网交换机连接（就是TP-Link路由器）。

A、B电脑上都装有docker并且有多个物理网卡，因此各个电脑的网络情况比较复杂，具体：

A电脑网络配置：

docker0: flags=4099<UP,BROADCAST,MULTICAST>  mtu 1500
        inet 172.17.0.1  netmask 255.255.0.0  broadcast 172.17.255.255
        ether 02:42:78:17:6c:07  txqueuelen 0  (Ethernet)
        RX packets 0  bytes 0 (0.0 B)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 0  bytes 0 (0.0 B)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

enp7s0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 10.105.219.170  netmask 255.255.0.0  broadcast 10.105.255.255
        inet6 2001:da8:a800:af00:2e4d:54ff:fe44:a14b  prefixlen 64  scopeid 0x0<global>
        inet6 fe80::2e4d:54ff:fe44:a14b  prefixlen 64  scopeid 0x20<link>
        ether 2c:4d:54:44:a1:4b  txqueuelen 1000  (Ethernet)
        RX packets 2892225  bytes 321651342 (321.6 MB)
        RX errors 0  dropped 3  overruns 0  frame 0
        TX packets 251303  bytes 155089869 (155.0 MB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0
        device memory 0xc6400000-c647ffff  

enp8s0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 192.168.11.66  netmask 255.255.255.0  broadcast 192.168.11.255
        inet6 fe80::2e4d:54ff:fe44:a14c  prefixlen 64  scopeid 0x20<link>
        inet6 2001:da8:a800:af00:2e4d:54ff:fe44:a14c  prefixlen 64  scopeid 0x0<global>
        ether 2c:4d:54:44:a1:4c  txqueuelen 1000  (Ethernet)
        RX packets 3260138  bytes 1003925411 (1.0 GB)
        RX errors 66178  dropped 3  overruns 0  frame 53701
        TX packets 319204  bytes 22576077 (22.5 MB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0
        device memory 0xc6300000-c637ffff  

lo: flags=73<UP,LOOPBACK,RUNNING>  mtu 65536
        inet 127.0.0.1  netmask 255.0.0.0
        inet6 ::1  prefixlen 128  scopeid 0x10<host>
        loop  txqueuelen 1000  (Local Loopback)
        RX packets 42491  bytes 26674547 (26.6 MB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 42491  bytes 26674547 (26.6 MB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

B电脑：

docker0: flags=4099<UP,BROADCAST,MULTICAST>  mtu 1500
        inet 172.17.0.1  netmask 255.255.0.0  broadcast 172.17.255.255
        ether 02:42:b9:51:8d:33  txqueuelen 0  (以太网)
        RX packets 0  bytes 0 (0.0 B)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 0  bytes 0 (0.0 B)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

enp5s0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 10.105.246.82  netmask 255.255.0.0  broadcast 10.105.255.255
        inet6 2001:da8:a800:af00:645d:7de8:7fe8:99e9  prefixlen 64  scopeid 0x0<global>
        inet6 2001:da8:a800:af00:61f7:413d:2daf:e00a  prefixlen 64  scopeid 0x0<global>
        inet6 fe80::4ed5:7f18:afc3:59e4  prefixlen 64  scopeid 0x20<link>
        ether 94:c6:91:7e:20:24  txqueuelen 1000  (以太网)
        RX packets 2824242  bytes 259143858 (259.1 MB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 62606  bytes 48094535 (48.0 MB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

enx000ec6c08c64: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 192.168.11.206  netmask 255.255.255.0  broadcast 192.168.11.255
        inet6 fe80::a036:3b28:aad9:62ac  prefixlen 64  scopeid 0x20<link>
        inet6 2001:da8:a800:af00:531e:f6f1:a573:9dbc  prefixlen 64  scopeid 0x0<global>
        inet6 2001:da8:a800:af00:a15e:c952:ce3e:f155  prefixlen 64  scopeid 0x0<global>
        ether 00:0e:c6:c0:8c:64  txqueuelen 1000  (以太网)
        RX packets 3089507  bytes 227967288 (227.9 MB)
        RX errors 0  dropped 2977  overruns 0  frame 0
        TX packets 549163  bytes 822545241 (822.5 MB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

lo: flags=73<UP,LOOPBACK,RUNNING>  mtu 65536
        inet 127.0.0.1  netmask 255.0.0.0
        inet6 ::1  prefixlen 128  scopeid 0x10<host>
        loop  txqueuelen 1000  (本地环回)
        RX packets 45005  bytes 13777274 (13.7 MB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 45005  bytes 13777274 (13.7 MB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

其中，A、B电脑的各自两个网卡均处在两个局域网中，即：192.168.11.0/24   ,     10.105.0.0/24  。

在子网：192.168.11.0/24  中，

A电脑网卡：enp8s0    ，   B电脑网卡：enx000ec6c08c64

在子网：10.105.0.0/24  中，

A电脑网卡：enp7s0    ，   B电脑网卡：enp5s0

为举例说明，使用下面的MPI4PY代码：

from mpi4py import MPI
import numpy as np

comm = MPI.COMM_WORLD
size = comm.Get_size()
rank = comm.Get_rank()

sendbuf = np.zeros(100*10000, dtype='i') + rank
recvbuf = None
if rank == 0:
    recvbuf = np.empty([size, 100*10000], dtype='i')

print( MPI.Get_processor_name() )

import time
a = time.time()
for _ in range(1):
    comm.Gather(sendbuf, recvbuf, root=0)
b = time.time()
if rank == 0:
    print(b-a)

代码意思比较简单，不进行信息pickle和unpickle情况下做个信息收集gather操作。

本文前提假设已经安装好了openmpi及mpi4py，单机环境已经配置好。A、B两电脑之间免密码ssh登录也已经配置好，本文不对此进行介绍。

说明：

本文只是学习目的，没有实际生成价值意义，毕竟分布式mpi大家都是用几千上万的infiband网络连接，而不会使用3元、5元一米网线的以太网TCP连接。

=============================================================

最初的运行方式：

mpiexec -np 8   -host 192.168.11.66:4   -host 192.168.11.206:4   python x.py

报错：

WARNING: Open MPI accepted a TCP connection from what appears to be a
another Open MPI process but cannot find a corresponding process
entry for that peer.

This attempted connection will be ignored; your MPI job may or may not
continue properly.

[[61134,1],0][btl_tcp_endpoint.c:626:mca_btl_tcp_endpoint_recv_connect_ack] received unexpected process identifier [[61134,1],2]
[[61134,1],0][btl_tcp_endpoint.c:626:mca_btl_tcp_endpoint_recv_connect_ack] received unexpected process identifier [[61134,1],1]

=======================================================

如上面运行的报错，引出了一个问题：多网卡系统下如何使用tcp协议实现MPI的分布式多机运行

如题所述，在单网卡的环境中多个电脑都配置好了openmpi，mpi4py等软件，而且在各个电脑上都有相同的用户，运行文件都存在相同的路径下，Python的运行路径也都相同，各个电脑之间也都配置好了免密登录，那么运行代码自然不会出现上述的问题，但是如果你的电脑上每个电脑都不是只有一个网卡呢，就像本文中每台电脑均有两个物理网卡并且均有一个虚拟网卡，这个情况下如果运行代码就会上面的错误。为什么多个电脑之间使用mpi，如果只有一个网卡就不报错，而电脑如果有超过一个网卡的话就会报错呢？？？

最终找到了答案，具体看下面的相关讨论：

相关讨论：

https://www.javaroad.cn/questions/122550

相关资料：

https://blog.csdn.net/ljhandlwt/category_6317687.html

==========================================================

从上面的讨论可以知道使用mpi的时候如果不设置主机之间通信使用的具体网卡或网段，mpi会对所有网卡均进行通信尝试，从而造成错误。

那么使用mpi在多机分布式使用tcp协议的时候如果主机有多个网卡该如何设置呢？？？下面给出几种解决方法：

1.  运行时通过设置参数指定运行的网段

设置参数：  --mca btl_tcp_if_include 192.168.11.0/24

上文可以知道网络中的主机A、B之间其实是存在两个局域网互联的，网段分别为：192.168.11.0/24,10.105.0.0/16

如果不指定具体使用的网段那么A、B主机会对这两个网段均进行通信尝试，这时可能会出现A主机在网段192.168.11.0/24上对B通信，而此时B在网段10.105.0.0/16上工作，从而导致报错。设定工作的具体网段后A、B主机均会使用该网段通信，从而避免了上述的错误。

这里我们的具体运行命令为：

mpirun --mca btl_tcp_if_include 192.168.11.0/24 -np 8 -host 192.168.11.66:4 -host 192.168.11.206:4   /home/xxxxxx/anaconda3/bin/python x.py

2.  通过mpi配置文件指定工作的具体网卡：

在当前linux用户的home文件夹下建立 .openmpi 文件夹，并在~/.openmpi 文件夹下面建立openmpi配置文件 mca-params.conf 并为其编写配置：

~/.openmpi/mca-params.conf

分别在A、B两个主机上对应的配置文件上添加内容：

主机A 192.168.11.66 对应网卡enp8s0

btl_tcp_if_include=enp8s0

主机B 192.168.11.206 对应网卡 enx000ec6c08c64

btl_tcp_if_include=enx000ec6c08c64

此时执行运行命令：

mpirun -np 8 -host 192.168.11.66:4 -host 192.168.11.206:4   /home/xxxxxx/anaconda3/bin/python x.py

以上两种方法均可解决mpi在多机分布式使用tcp协议的多网卡主机通信报错问题。