linux下利用httpd搭建tomcat集群，实现负载均衡

公司使用运营管理平台是单点tomcat，使用量大，或者导出较大的运营数据时，会造成平台不可用，现在需要搭建tomcat集群，调研后，决定使用apache的httpd来搭建tomcat集群。以下是搭建步骤，记录下来，供有需要的同学参考。

一、集群架构

二、Linux软件包准备

1、apache httpd

版本：最新版2.4.29

下载地址：http://httpd.apache.org/download.cgi

安装路径：/usr/local/apache2

端口：90

2、apr

版本：1.6.3

下载地址：http://apr.apache.org/download.cgi

安装路径：/usr/local/apr

3、apr-util

版本：1.6.1

下载地址：http://apr.apache.org/download.cgi

安装路径：/usr/local/apr-util

4、pcre

下载地址：ftp://ftp.csx.cam.ac.uk/pub/software/programming/pcre/

版本：8.42

安装路径：/usr/local/pcre

5、tomcat-connectors-1.2.43-src.tar.gz（mod_jk）

版本：1.2.43

下载地址：https://tomcat.apache.org/download-connectors.cgi

6、tomcat

下载地址：https://tomcat.apache.org/download-70.cgi

三、环境搭建

　　在/opt下新建文件夹apache，用于放所需要的安装包

　　1）将上述安装包拷贝至/opt/apache文件夹（或自定义目录也可以）

　　

　　2）安装apr

　　先解压安装包

tar -zxvf apr-1.6.3.tar.gz

cd至解压缩后根目录，分别执行以下命令(安装在/usr/local/apr下,可以自定义)

　　./configure --prefix=/usr/local/apr

编译安装

make

make install

　　3）安装apr-util

　　解压安装包

　　　　tar -zxvf apr-util-1.6.1.tar.gz

　　cd至解压缩后根目录，分别执行以下命令

　　　　./configure --prefix=/usr/local/apr-util --with-apr=/usr/local/apr

　　编译安装

　　　　make

　　　　make install

　　若报错：

　　　　fatal error: expat.h: No such file or directory

　　解决办法：yum install expat-devel

　　4）安装pcre

　　解压安装包

　　　　tar -zxvf pcre-8.42.tar.gz

cd至根目录，执行以下命令

　　./configure --prefix=/usr/local/pcre

5）安装httpd-2.4.29.tar.gz

解压安装包

　　tar -zxvf httpd-2.4.29.tar.gz

cd至根目录，执行以下命令

　　./configure --prefix=/usr/local/apache2 \

　　--enable-mods-shared=all \

　　--with-apr=/usr/local/apr \

　　--with-apr-util=/usr/local/apr-util/bin\

　　--with-pcre=/usr/local/pcre

　　或

　　./configure --prefix=/usr/local/apache --with-pcre=/usr/local/pcre --with-apr=/usr/local/apr --with-apr-util=/usr/local/apr-util

编译安装

　　make

　　make install

启动及关闭

　　/usr/local/apache2/bin/apachectl start

　　/usr/local/apache2/bin/apachectl stop

6）安装Apache Tomcat Connector(mod_jk)

解压安装包

　　tar -zxvf tomcat-connectors-1.2.43-src.tar.gz

cd 至解压跟目录下的native目录，执行

　　./buildconf.sh

继续执行以下命令

　　./configure --with-apxs=/usr/local/apache2/bin/apxs \

　　--with-java-home=$JAVA_HOME --with-java-platform=2 \

　　--enable-jni

　　或

　　./configure --with-apxs=/usr/local/apache/bin/apxs

编译安装

　　make

　　make install

如果成功结束，你可以在/usr/local/apache2/modules/下找到mod_jk.so文件

7）Tomcat安装

　　省略

四：集群配置

　　1）配置Tomcat

• Tomcat的配置文件主要在conf/server.xml中，若在不同机器上搭建集群，Tomcat的端口可 以相同，若在同一台机器上搭建集群，需要修改Tomcat的端口
• 开启Tomcat集群支持，将<Engine>设置为jvmRoute,如下图，需要将注释掉的放开，并将原<Engine>注释掉

　　

• 在<Engine/>中添加关于集群的配置

在tomcat官方关于tomcat集群配置的文档：http://tomcat.apache.org/tomcat-6.0-                  doc/cluster-howto.html 中，有一份默认配置：
<Cluster className="org.apache.catalina.ha.tcp.SimpleTcpCluster" channelSendOptions="8">

          <Manager className="org.apache.catalina.ha.session.DeltaManager"
                   expireSessionsOnShutdown="false"
                   notifyListenersOnReplication="true"/>

          <Channel className="org.apache.catalina.tribes.group.GroupChannel">
            <Membership className="org.apache.catalina.tribes.membership.McastService"
                        address="228.0.0.4"
                        port="45564"
                        frequency="500"
                        dropTime="3000"/>
            <Receiver className="org.apache.catalina.tribes.transport.nio.NioReceiver"
                      address="auto"
                      port="4000"
                      autoBind="100"
                      selectorTimeout="5000"
                      maxThreads="6"/>

            <Sender className="org.apache.catalina.tribes.transport.ReplicationTransmitter">
              <Transport className="org.apache.catalina.tribes.transport.nio.PooledParallelSender"/>
            </Sender>
            <Interceptor className="org.apache.catalina.tribes.group.interceptors.TcpFailureDetector"/>
            <Interceptor className="org.apache.catalina.tribes.group.interceptors.MessageDispatch15Interceptor"/>
          </Channel>

          <Valve className="org.apache.catalina.ha.tcp.ReplicationValve" filter=""/>
          <Valve className="org.apache.catalina.ha.session.JvmRouteBinderValve"/>

          <Deployer className="org.apache.catalina.ha.deploy.FarmWarDeployer"
                    tempDir="/tmp/war-temp/"
                    deployDir="/tmp/war-deploy/"
                    watchDir="/tmp/war-listen/"
                    watchEnabled="false"/>

          <ClusterListener className="org.apache.catalina.ha.session.JvmRouteSessionIDBinderListener"/>
          <ClusterListener className="org.apache.catalina.ha.session.ClusterSessionListener"/>
        </Cluster>

　　将上面的配置，粘贴到<Engine></Engine>中即可，若是高版本的tomcat，可去httpd官网上，找相应的配置写法。

　　2）配置Apache-httpd

• 放开ServerName注释，配上本机IP：ServerName 192.168.10.101:80
• 打开Apache的安装目录（/usr/local/apache2/conf）下的httpd.conf文件，在文件尾部追加以下内容

# Load mod_jk module
LoadModule jk_module modules/mod_jk.so
# Specify jk log file.
JkLogFile /var/log/mod_jk.log
# Specify jk log level [debug/error/info]
JkLogLevel info
# Specify workers.properties, this file tell jk:
# how many nodes and where they are.
JkWorkersFile conf/workers.properties
# Specify which requests should handled by which node.
JkMount /* controller

　　3）配置mok_jk

　　

　　上述配置中：JkWorkersFile conf/workers.properties 指明由一个workers.properties文件来描述集群结点的情况，因此，我们需要创建这个workers.properties文件，并放置于conf文件夹下，这个文件的内容如下：

#所有节点列表，其中controller是一个逻辑结点，负责负载均衡控制，
#如果JkMount中的URL指定给了controller就表示这个请求会被自动散列到某个物理节点上。
#注意：真正负责处理请求的tomcat的名称（这里就是tomcat1,tomcat2)必须于它们在conf/server.xml
#文件中配置的jvmRout的属性值是一致的！
worker.list = controller,tomcat1,tomcat2

#========tomcat1========
#ajp13 端口号，在tomcat下server.xml配置,默认8009
worker.tomcat1.port=8009
#tomcat的主机地址，如不为本机，请填写ip地址
worker.tomcat1.host=192.168.10.101 

worker.tomcat1.type=ajp13
#server的加权比重，值越高，分得的请求越多
worker.tomcat1.lbfactor = 1
#========tomcat2========
#ajp13 端口号，在tomcat下server.xml配置,默认8009
worker.tomcat2.port=8009
#tomcat的主机地址，如不为本机，请填写ip地址
worker.tomcat2.host=192.168.10.111 

worker.tomcat2.type=ajp13
#server的加权比重，值越高，分得的请求越多
worker.tomcat2.lbfactor = 1    

#========controller,负载均衡控制器========
worker.controller.type=lb
#指定分担请求的tomcat，旧版本中的balanced_workers,已不再推荐使用！
worker.controller.balance_workers=tomcat1,tomcat2
#sticky_session为1表示，
worker.controller.sticky_session=false
#当某一 client的session创建之后，后续由该客户端发起的请求，也就是这个session的所有请求都始终由第一次处理该请求的结点
#负责处理（除非该结点挂掉）

至此，所有配置均已完成，启动两个tomcat和apache后，将某一应用同时部署到两个tomcat中

 

五、中文url访问404问题解决：

需要安装mod_encoding，步骤如下：

1.下载源码包：www.543yy.com/soft/mod_encoding_64bit.zip 

2.将apache安装目录下的apxs文件拷贝至/usr/bin目录下

测试路径：cp /usr/local/apache2/bin/apxs /usr/bin

3.解压mod_encoding_2010.zip，本次测试解压至/opt/apache/test目录下

4、依次行以下命令

patch -p0 < mod_encoding.c-apache2.2-20060520.patch
cd lib
chmod 777 configure
./configure --prefix=/usr
make
make install
ldconfig

cd ../

chmod +x ./configure
./configure --with-apxs=/usr/bin/apxs --with-iconv-hook=/usr/include
make
gcc -shared -o mod_encoding.so mod_encoding.o -Wc,-Wall -Llib -liconv_hook
或
gcc -shared -o mod_encoding.so mod_encoding.o -W -Wall -Llib -liconv_hook

cp mod_encoding.so  /usr/local/apache2/modules

5.将以下内容添加至httpd.conf文件末尾

LoadModule encoding_module modules/mod_encoding.so
<IfModule mod_encoding.c>
    EncodingEngine off
    NormalizeUsername on
    SetServerEncoding GBK
    DefaultClientEncoding GBK UTF-8 GB2312
</IfModule>

注意： 此处关闭了EncodingEngine on才能运行

6、重启apache服务