Centos 7.2 双网卡绑定之踩坑

　　线上服务器，安装centos7.2 x64最小化安装，需要做链路聚合，双网卡绑定。在centos 6.x 和 centos 7上测试都OK，于是直接开搞。

　　说明下，以下环境是在虚拟机中实现的：

　　系统： centos7.2 x64 最小化安装。

为了方便演示，这里共有三张网卡：
    eno16777736 ： 桥接网卡：10.0.0.11/24
    剩下的两张网卡准备做绑定：
        eno33554984
        eno50332208

[root@bogon ~]# nmcli con sh
NAME                UUID                                  TYPE            DEVICE
Wired connection   bf0cf9b6-c7fb-4c0a-ada4-abfb650dd5f0  --ethernet  --
Wired connection   5b4e0b3e-c469-404c--76d18442fc20  --ethernet  --
eno16777736         100e462e-c0d0--9b5a-1c8e47ff0d03  --ethernet  eno16777736
[root@bogon ~]# nmcli con del 5b4e0b3e-c469-404c--76d18442fc20 bf0cf9b6-c7fb-4c0a-ada4-abfb650dd5f0
Connection 'Wired connection 1' (5b4e0b3e-c469-404c--76d18442fc20) successfully deleted.
Connection 'Wired connection 2' (bf0cf9b6-c7fb-4c0a-ada4-abfb650dd5f0) successfully deleted.

[root@bogon ~]# nmcli con add type team ifname team0 con-name team0 config '{"runner":{"name":"roundrobin"}}'
Connection 'team0' (913f05c2-15d8-49a9-a35f-8bc5ee843c0c) successfully added.
[root@bogon ~]# nmcli con add type team-slave ifname eno50332208 con-name team0-port2 master team0
Connection 'team0-port2' (1583854c-1f85-4c76-8cc7-c643071d4b82) successfully added.
[root@bogon ~]# nmcli con mod team0 ipv4.address "192.168.121.100/24"
[root@bogon ~]# nmcli con mod team0 ipv4.method manual

[root@bogon ~]# nmcli con sh
NAME         UUID                                  TYPE            DEVICE
eno16777736  100e462e-c0d0--9b5a-1c8e47ff0d03  --ethernet  eno16777736
team0-port2  1583854c-1f85-4c76-8cc7-c643071d4b82  --ethernet  --
team0-port1  bfd408b4-76d9-4f5c-ad5b-4d92430eb6ba  --ethernet  --
team0        913f05c2-15d8-49a9-a35f-8bc5ee843c0c  team            -- 

到这里都没毛病。

[root@bogon ~]# nmcli con up team0
Error: Connection activation failed: NetworkManager plugin for 'team' unavailable

什么鬼？NetworkManager "team"插件不可用。于是开始排查。

是否存在team模块

[root@bogon ~]# lsmod | egrep *team*

木有。那直接restart network好了。

[root@bogon ~]# systemctl restart network
Job for network.service failed because the control process exited with error code. See "systemctl status network.service" and "journalctl -xe" for details.

[root@bogon ~]# systemctl status network
...
Mar  :: bogon network[]: Bringing up interface team0:  Error: Connection activation failed: NetworkManager plugin for 'team' unavailable
Mar  :: bogon network[]: [FAILED]
...

一样的报错，难道什么包没有安装到？

[root@bogon ~]# yum list all | grep NetworkManager*
NetworkManager.x86_64                   :1.0.-.el7                 @anaconda
NetworkManager-libnm.x86_64             :1.0.-.el7                 @anaconda
NetworkManager-tui.x86_64               :1.0.-.el7                 @anaconda
NetworkManager-wifi.x86_64              :1.0.-.el7                 @anaconda
NetworkManager-adsl.x86_64              :1.0.-.el7                 yum
NetworkManager-bluetooth.x86_64         :1.0.-.el7                 yum
NetworkManager-glib.x86_64              :1.0.-.el7                 yum
NetworkManager-libreswan.x86_64         1.0.-.el7                    yum
NetworkManager-libreswan-gnome.x86_64   1.0.-.el7                    yum
NetworkManager-team.x86_64              :1.0.-.el7                 yum
NetworkManager-wwan.x86_64              :1.0.-.el7                 yum 

哎哟，还真有个NetworkManager-team没有安装叻。

[root@bogon ~]# yum install NetworkManager-team -y

然后再次尝试：

[root@bogon ~]# nmcli con sh
NAME         UUID                                  TYPE            DEVICE
eno16777736  100e462e-c0d0--9b5a-1c8e47ff0d03  --ethernet  eno16777736
team0-port2  1583854c-1f85-4c76-8cc7-c643071d4b82  --ethernet  --
team0-port1  bfd408b4-76d9-4f5c-ad5b-4d92430eb6ba  --ethernet  --
team0        913f05c2-15d8-49a9-a35f-8bc5ee843c0c  team            -- 

[root@bogon ~]# nmcli con up team0
Error: Connection activation failed: NetworkManager plugin for 'team' unavailable

尼玛，还是同样的错，这就尴尬了。那就重启下NetworkManager 在看看。

[root@bogon ~]# systemctl restart NetworkManager

[root@bogon ~]# nmcli con sh
NAME         UUID                                  TYPE            DEVICE
team0-port2  1583854c-1f85-4c76-8cc7-c643071d4b82  --ethernet  eno50332208
eno16777736  100e462e-c0d0--9b5a-1c8e47ff0d03  --ethernet  eno16777736
team0-port1  bfd408b4-76d9-4f5c-ad5b-4d92430eb6ba  --ethernet  eno33554984
team0        913f05c2-15d8-49a9-a35f-8bc5ee843c0c  team            team0

好了？ What the fuck！赶紧查看是不是roundrobin模式

[root@bogon ~]# teamdctl team0 st
setup:
  runner: roundrobin
ports:
  eno33554984
    link watches:
      link summary: up
      instance[link_watch_0]:
        name: ethtool
        link: up
        down count:
  eno50332208
    link watches:
      link summary: up
      instance[link_watch_0]:
        name: ethtool
        link: up
        down count:
[root@bogon ~]# teamnl team0 ports
 : eno50332208: up 1000Mbit FD
 : eno33554984: up 1000Mbit FD

一切OK，老铁，扎心了。

接下来测试下roundrobin
    这里说明下：roundrobin这种bind模式：
        先来讲下网卡bind的原理：
            通过将两张或者多张网卡通过软件虚拟出来一张逻辑网卡来传输数据，这里bind的模式有很多种。比如我们上面的这种，就是其中的链路聚合模式。当使用该模式的时候，两张物理网卡和逻辑网卡的mac地址都被设置为一致，大家都知道，我们做链路聚合就是为了让多张物理网卡聚合在一块扩展数据带宽的方式，既然我们在逻辑上是一张网卡，那mac地址也就必须一致对吧。不然我们接到交换机或者路由器上，逻辑网卡一会是物理网卡1的mac地址，一会又是物理网卡2的地址，交换机一会找的到人，一会又找不到人。那数据还怎么传输。

在链路聚合中，因为是两张物理网卡捆绑的模式，如果其中一张网卡down掉了，整个链路也就瘫了。

　　　　如下：