WildFly 9.0.2+mod_cluster-1.3.1 集群配置

一、配置背景

　　最近使用WildFly 9.0.2作为中间件开发系统，给客户部署的时候需要使用集群来进行负载均衡，一开始想到是使用Nginx。但是只通过Nginx使用 ip_hash 模式没有做到session的不丢失（也可能是我对Nginx的理解不够深入）。所以后来google了一下，发现很多Jboss服务器都使用 httpd + mod_cluster 来做集群的搭建，所以就准备使用这种配置来搭建一把。

二、环境准备

　　WildFly 9.0.2+mod_cluster-1.3.1+Java7+VMware 10：这些都可以去官方下载。

　　VMware 10 系统配置：本地Win7(192.168.244.1)+Server 2012(192.168.244.132)+Server 2012(192.168.244.133) ,这里的Win7 是本地不需要在虚拟机安装，主要用作 mod_cluster 的集群管理服务器。两台Server 2012需要在在虚拟机中搭建，132作为master，133座位slave。master可以统一管理和部署系统环境。

三、配置过程

　　1、域管理配置

　　我们需要配置master和slave主机系统的java环境变量，然后通过 wildfly-9.0.2s\bin\domain.bat 来启动Jboss，如果可以正常启动，并且出现以下如图提示，说明基本的环境配置已经成功。

　　

　　

　　master进行域控制的配置：找到文件 domain/configuration/host.xml 进行修改。

　　默认的配置为

<interfaces>
    <interface name="management">
        <inet-address value="${jboss.bind.address.management:127.0.0.1}"/>
    </interface>
    <interface name="public">
       <inet-address value="${jboss.bind.address:127.0.0.1}"/>
    </interface>
    <interface name="unsecured">
       <inet-address value="127.0.0.1" />
    </interface>
</interfaces

　　我们需要去修改管理端口，以至于slave可以连接到master，修改为如下：　　

<interfaces>
    <interface name="management"
        <inet-address value="${jboss.bind.address.management:192.168.244.132}"/>
    </interface>
    <interface name="public">
       <inet-address value="${jboss.bind.address:192.168.244.132}"/>
    </interface>
    <interface name="unsecured">
       <inet-address value="192.168.244.132" />
    </interface>
</interfaces>

　　

　　slave的环境配置：为了让slave可以连接到master，同样找到文件 domain/configuration/host.xml 　

<host name="master" xmlns="urn:jboss:domain:3.0">

　　修改为

<host name="slave" xmlns="urn:jboss:domain:3.0">

　　同时修改 domain-controller 以至于slave可以连接到master的管理端口　

<domain-controller>
    <remote protocol="remote" host="192.168.244.132" port="9999" username="slave" security-realm="ManagementRealm"/>
</domain-controller>

　　上面的username="slave" 主要是为安全配置，需要特定的用户来连接master。

　　接下来修改salve的 interfaces 配置为:

<interfaces>
        <interface name="management">
            <inet-address value="${jboss.bind.address.management:192.168.244.133}"/>
        </interface>
        <interface name="public">
            <inet-address value="${jboss.bind.address:192.168.244.133}"/>
        </interface>
        <interface name="unsecure">
            <!-- Used for IIOP sockets in the standard configuration.
                 To secure JacORB you need to setup SSL -->
            <inet-address value="${jboss.bind.address.unsecure:192.168.244.133}"/>
        </interface>
</interfaces>

　　

　　如果现在你启动master以后，再去启动slave，会发现如下报错，因为我们还没有配置slave和master之间的认证。

[Host Controller] 20:31:24,575 ERROR [org.jboss.remoting.remote] (Remoting "endpoint" read-1) JBREM000200: Remote connection failed: javax.security.sasl.SaslException: Authentication failed: all available authentication mechanisms failed
[Host Controller] 20:31:24,579 WARN  [org.jboss.as.host.controller] (Controller Boot Thread) JBAS010900: Could not connect to remote domain controller 192.168.244.132:9999
[Host Controller] 20:31:24,582 ERROR [org.jboss.as.host.controller] (Controller Boot Thread) JBAS010901: Could not connect to master. Aborting. Error was: java.lang.IllegalStateException: JBAS010942: Unable to connect due to authentication failure.　

　　此时，我们需要在master中添加2个user，可以通过 wildfly-9.0.2s\bin\add-user.bat 来添加，具体过程在这里不再描述，过程中需要注意一点就是需要记住password的64位加密后的码，人员类型选择 “ManagementRealm”。我在这里添加2个用户 master 和 slave，密码都为123456。

　　在slave找到刚才编辑过的 host.xml，添加<secret value="MTIzNDU2" /> ，“MTIzNDU2”为123456的64位加密码，配置如下：

　　　　　<security-realms>
            <security-realm name="ManagementRealm">
                <server-identities>
                    <secret value="MTIzNDU2" />
                </server-identities>
                <authentication>
                    <local default-user="$local" skip-group-loading="true"/>
                    <properties path="mgmt-users.properties" relative-to="jboss.domain.config.dir"/>
                </authentication>
                <authorization map-groups-to-roles="false">
                    <properties path="mgmt-groups.properties" relative-to="jboss.domain.config.dir"/>
                </authorization>
            </security-realm>
            <security-realm name="ApplicationRealm">
                <server-identities>
                    <secret value="MTIzNDU2" />
                </server-identities>
                <authentication>
                    <local default-user="$local" allowed-users="*" skip-group-loading="true"/>
                    <properties path="application-users.properties" relative-to="jboss.domain.config.dir"/>
                </authentication>
                <authorization>
                    <properties path="application-roles.properties" relative-to="jboss.domain.config.dir"/>
                </authorization>
            </security-realm>
        </security-realms>

　　进过如上配置我们就可以是的slave和master彼此连接，此时，再去启动slave的服务，在命令行会看到：Registered remote slave host slave。说明我们在域控制模式下已经将2台主机配置成功。

　　

　　2、部署测试环境

　   测试项目：http://pan.baidu.com/s/1eSkaeC6 我在这里提供一个可以下载的项目主要为了测试session是否在服务某个节点失败以后，是否会正确转移到另外一个节点。

　　在master上登陆管理控制台 http://192.168.244.132:9990/console/ ，将master和slave的server-three启动起来。（如果在master中无法启动slave的server，可以将salve上的wildfly重新启动一下）　　

　　

　　这里的server-three在master和slave上尽量使用不同的名字，官方文档说相同的话在做集群的时候可能会出现冲突。接下来部署我们的war包，进入部署页面，选择Server Groups 页面选择 other-server-group，然后选择add按钮部署项目。

　　

　　部署完毕以后我们的项目会被同事部署到master和master中，这就是wildfly域控制器的功能所在。此时我们访问以下我们的项目如下，通过如下地址

　　http://192.168.244.132:8330/cluster-demo/

　　http://192.168.244.133:8330/cluster-demo/

　　应该应该可以看到如下界面：

　　

　　这里我们的访问端口为8330，为什么不是8080？这里因为我们在host.xml里面进行了如下配置：　

<server name="server-three" group="other-server-group" auto-start="false">
    <!-- server-three avoids port conflicts by incrementing the ports in
         the default socket-group declared in the server-group -->
    <socket-bindings port-offset="250"/>
</server>

port-offset 是 250, 所以 8080 + 250 = 8330

　　接下来我们需要停止wildfly服务，我们需要在master和slave编辑host.xml将我们的serevr-three设置为自动启动。同时将slave的server-three修改为server-three-slave，这是因为mod_cluster在注册的时候如果名字相同，可能会注册失败。

　　master　

<server name="server-three" group="other-server-group" auto-start="true">
    <!-- server-three avoids port conflicts by incrementing the ports in
         the default socket-group declared in the server-group -->
    <socket-bindings port-offset="250"/>
</server>

　　slave

<server name="server-three-slave" group="other-server-group" auto-start="true">
    <!-- server-three avoids port conflicts by incrementing the ports in
         the default socket-group declared in the server-group -->
    <socket-bindings port-offset="250"/>
</server>

　　完成如上配置以后，接下来我们就需要配置httpd 和 mod_cluster 来完成集群配置。

　　3、mod_cluster 集群的配置

　　解压我们下载的mod_cluster安装文件到某个目录，然后执行 D:\httpd-2.4\bininstallconf.bat 命令（这里要注意，需要使用管理员权限启动），然后会发现在目录D:\httpd-2.4\conf 下面会看到httpd.conf 文件，接下来的主要配置就是修改这个文件。然后安装httpd服务：httpd.exe -k install -n httpd2.4(安装的service需要使用管理员启动，默认是本地系统)

　　

　　httpd.conf修改的主要内容如下：

Listen 192.168.244.1:80

......
#ServerName 的修改
ServerName 192.168.244.1:80

......
# MOD_CLUSTER_ADDS
# Adjust to you hostname and subnet.
<IfModule manager_module>
  Listen 192.168.244.1:8888
  #ManagerBalancerName mycluster
  <VirtualHost 192.168.244.1:8888>
    # / 标示拦截所有类型的请求 Require ip 192.168.244 标示拦截特定的IP
    <Location />
     Require ip 192.168.244
    </Location>

    KeepAliveTimeout 60
    MaxKeepAliveRequests 0
    EnableMCPMReceive

    # don't use multicast
    ServerAdvertise Off
    #AdvertiseFrequency 5
    #AdvertiseSecurityKey secret
    #AdvertiseGroup 224.0.1.105:23364

    <Location /status>
       SetHandler mod_cluster-manager
       #Require ip 192.168.244
       Order deny,allow
       Deny from all
       Allow from all
       AllowDisplay on
    </Location>

    #设置代理转发，这里为将所有请求类型都转发至mycluster负载均衡器
    #ProxyPass / balancer://mycluster/

  </VirtualHost>
</IfModule>

　　然后启动service

　　

　　然后访问http://192.168.244.1:8888/status，如果可以正确找到master和slave节点的server说明我的集群配置成功。

　　

　　

　　接下来进行集群的测试，此时会用到我们此前部署的项目cluster-demo，首先我们访问：http://192.168.244.1/cluster-demo/put.jsp

　　

　　此时我们会在master的后台看到如下信息

　　

　　然后我们关闭master的服务，然后访问：http://192.168.244.1/cluster-demo/get.jsp

　　

　　我们发现我们put和get的时间相同，说明我们的session内容没有丢失。到此，我们的集群环境部署完毕。

四、过程总结

　　整个过程断断续续花了2天，发生问题最多的地方是在httpd.conf配置的地方，因为对这里面的配置的介绍文档比较少。另外如果实在虚拟机做测试最好将虚拟机里面的IP固定一下，有时候虚拟机重启IP会发生变化，启动服务的时候会报错。

五、参考网址

　　https://docs.jboss.org/author/display/WFLY9/WildFly+9+Cluster+Howto

　　http://docs.jboss.org/mod_cluster/1.1.0/html/Quick_Start_Guide.html