用openvswitch配置跨节点的docker网络环境

在一篇随笔中，我们已经尝试了在不依赖工具的情况下设置docker的ip，连我都想吐槽，MD单机都这么麻烦，在多机的环境中岂不是要了我的小命！

本文就是为了多机环境中各个节点的容器通信而做的，网络拓朴如下，这里用到了openvswitch工具。

openvswitch为我们建立一个扩展到三层网络的网桥，我们知道vlan是不能跨子网的，openvswitch利用了隧道技术，将二层的报文用三层的协议(udp/sdn）重新封装，从而实现二层网络在三层中进行扩展：如下图：

openvswitch是一个比较直观的解决方案，它暴露了足够多的细节给我们，生产环境中定位问题也是比较方便的。

openvswitch的安装

首先在centos7上安装openvswitch（很可惜yum源中并没有编译好的rpm，但debian是有的），我们编译的时候生成rpm而不是利用make install的方式，因为openvswitch的启动是比较麻烦的（可以读一下INSTALL.md），生成rpm然后安装rpm的方式在系统中添加了启动和停止服务，使用起来很方便。

下面是安装过程，基本是INSTALL.md的翻译，但INSTALL.md写得有点冗长，有细节问题会对我们的编译过程造成一些干扰。

1、下载openvswitch的源码，下载release版本的openvswitch源码可以减少很多麻烦。

wget http://openvswitch.org/releases/openvswitch-2.5.0.tar.gz

2、建立rpmbuild结构（这里其实只需要建立$HOME/rpmbuild/SOURCES目录即可，其它的目录可以在rpmbuild执行过程生成的）

cp openvswitch-2.5.0.tar.gz $HOME/rpmbuild/SOURCES

3、安装编译所需要的依赖包：

   yum install gcc make python-devel openssl-devel kernel-devel graphviz \
       kernel-debug-devel autoconf automake rpm-build redhat-rpm-config \
       libtool

4、检查内核开发kernel-devel源码的位置是否正确：

ls /lib/modules/$(uname -r) -ln

从上图可以看出，build是一个无效的称号链接，删除这个链接，重新链接到正确目录：

rm /lib/modules/$(uname -r)/build
ln -s /usr/src/kernels/3.10.0-327.13.1.el7.x86_64 /lib/modules/$(uname -r)/build

5、在任意目录下解压开源码，进入源码目录：

tar -zxvf openvswitch-2.5.0.tar.gz
cd openvswitch-2.3.2

6、执行rpmbuild生成rpm安装包：

rpmbuild -bb --without check rhel/openvswitch.spec

--without check表明不运行测试。

另外我们可以不需要编译内核模块，这样子，报文会发到用户空间由程序去处理，这样子效率会有所下降，但对内核动手毕竟是一件比较危险又麻烦的事。SO。。。

7、最后安装我生成的rpm包：

yum localinstall $HOME/rpmbuild/RPMS/openvswitch-2.5.0-1.x86_64.rpm

建立vxlan拓朴

下面利用openvswitch建立我们所需要的vxlan网络拓朴：

1、在192.168.1.102执行：

# 有错误则停止执行
set -e
# 创建一个openvswitch bridge
ovs-vsctl add-br ovs-br0
# 添加一个到192.168.1.108的接口
ovs-vsctl add-port ovs-br0 vxlan-port-to-192.168.1.108 -- set  interface vxlan-port-to-192.168.1.108 type=vxlan option:remote_ip="192.168.1.108"

# 创建一对虚拟网卡veth
ip link add vethx type veth peer name vethContainer

# sleep 3 seconds to wait for the completion of previous work.
sleep 3

# 将vethx接入到ovs-br0中
ovs-vsctl add-port ovs-br0 vethx
ifconfig vethx up

# 启动docker容器，使用--net=none策略
export containerID=$(docker run -tid --net=none ubuntu:latest /bin/bash)
export pid=$(docker inspect -f "{{.State.Pid}}" ${containerID})

echo containerID=${containerID}
echo pid=${pid}

# 如果net namespace目录没有创建则新建一个
if [ ! -d "/var/run/netns" ]; then
  mkdir -p /var/run/netns
fi

# 将docker容器使用的net namespace 打回原形
ln -s /proc/${pid}/ns/net /var/run/netns/${pid}
ip netns list

# 将vethContainer加入到容器的net namespace中
ip link set vethContainer netns ${pid}

# 配置vethContainer接口
ip netns exec ${pid} ifconfig vethContainer 192.168.100.100/24 up
ip netns exec ${pid} ifconfig -a

2、同样在192.168.1.108上执行：

# 有错误则停止执行
set -e
# 创建一个openvswitch bridge
ovs-vsctl add-br ovs-br0
# 添加一个到192.168.1.102的接口
ovs-vsctl add-port ovs-br0 vxlan-port-to-192.168.1.102 -- set  interface vxlan-port-to-192.168.1.102 type=vxlan option:remote_ip="192.168.1.102"

# 创建一对虚拟网卡veth
ip link add vethx type veth peer name vethContainer

# sleep 3 seconds to wait for the completion of previous work.
sleep 3

# 将vethx接入到ovs-br0中
ovs-vsctl add-port ovs-br0 vethx
ifconfig vethx up

# 启动docker容器，使用--net=none策略
export containerID=$(docker run -tid --net=none ubuntu:latest /bin/bash)
export pid=$(docker inspect -f "{{.State.Pid}}" ${containerID})

echo containerID=${containerID}
echo pid=${pid}

# 如果net namespace目录没有创建则新建一个
if [ ! -d "/var/run/netns" ]; then
  mkdir -p /var/run/netns
fi

# 将docker容器使用的net namespace 打回原形
ln -s /proc/${pid}/ns/net /var/run/netns/${pid}
ip netns list

# 将vethContainer加入到容器的net namespace中
ip link set vethContainer netns ${pid}

# 配置vethContainer接口
ip netns exec ${pid} ifconfig vethContainer 192.168.100.101/24 up
ip netns exec ${pid} ifconfig -a

测试：

192.168.1.102上的容器：

192.168.1.108上的容器：