Nginx+Tomcat负载均衡、动静分离群集

Nginx+Tomcat负载均衡、动静分离群集

一、Tomcat

1. Tomcat简介

最初是由Sun的软件架构师詹姆斯·邓肯·戴维森开发。

安装Tomcat后，安装路径下面的目录和文件，是使用或者配置Tomcat的重要文件。

2. Tomcat重要目录

目录	作用
bin	存放启动和关闭Tomcat脚本
conf	存放Tomcat不同的配置文件
doc	存放Tomcat文档
lib	存放Tomcat运行需要的库文件
logs	存放Tomcat执行时的LOG文件
src	存放Tomcat的源代码
webapps	Tomcat的主要Web发布目录
work	存放jsp编译后产生的class文件

二、Nginx负载均衡原理

1. Nginx应用

Nginx是一款非常优秀的HTTP服务器软件，它具有以下优点：

支持高达50000个并发连接数的响应
拥有强大的静态资源处理能力
运行稳定
内存、CPU等系统资源消耗非常低

目前很多大型网站都应用Nginx服务器作为后端网站程序的反向代理及负载均衡器，提升整个站点的负载并发能力。

2. Nginx负载均衡实现原理

Nginx实现负载均衡是通过反向代理实现的

Nginx配置反向代理的主要参数：

upstream 服务池名{}

配置后端服务器池，以提供响应数据
proxy_pass http://服务池名

配置将访问请求转发给后端服务器池的服务器处理

3. 负载均衡模式

负载均衡模式	说明
rr负载均衡模式	每个请求按时间顺序逐一分配到不同的后端服务器，如果超过了最大失败次数后（max_fails,默认1），在失效时间内（fail_timeout,默认10秒），该节点失效权重变为0，超过失效时间后，则恢复正常，或者全部节点都为down后，那么将所有节点都恢复为有效继续探测，一般来说rr可以根据权重来进行均匀分配。
least_conn最少连接	优先将客户端请求调度到当前连接最少的服务器。
ip_hash负载均衡模式	每个请求按访问ip的hash结果分配，这样每个访客固定一个后端服务器，可以解决session的问题，但是ip_hash会造成负载不均，有的服务请求接收多，有的服务请求接收少，所以不建议采用ip_hash模式，session共享问题可用后端服务的session共享代替nginx的ip_hash。
fair（第三方）负载均衡模式	按后端服务器的响应时间来分配请求，响应时间短的优先分配。
url_hash（第三方）负载均衡模式	和ip_hash算法类似，是对每个请求按ur来的hash结果匹配，使每个url定向到同一个后端服务器，但是也会造成分配不均的问题，这种模式后端服务器为缓存时比较好。

4. 正、反向代理

正向代理即是客户端代理, 代理客户端, 服务端不知道实际发起请求的客户端

反向代理即是服务端代理, 代理服务端, 客户端不知道实际提供服务的服务端

5. 反向代理的方式

反向代理方式	说明
四层反向代理	是基于IP+PROT(TCP/UDP)转发
七层反向代理	是基于http/https/mail等代理转发

三、Nginx动静分离原理

1. 动静分离原理

服务端节后来自客户端的请求中，既有静态资源也有动态资源，静态资源由Nginx提供服务，动态资源Nginx转发至后端。

2. Nginx静态处理优势

Nginx处理静态页面的效率远高于Tomcat的处理能力
若Tomcat到的请求量为1000次，则Nginx的请求量为6000次
Tomcat每秒的吞吐量为0.6M，Nginx的每秒吞吐量为3.6M
Nginx处理静态资源的能力是Tomcat处理的6倍

四、部署Tomcat

1. 服务器分配

Nginx服务器：192.168.122.10:80

Tomcat服务器1：192.168.122.100:80

Tomcat服务器2：192.168.122.101:8080 192.168.122.101:8081

2. 部署Nginx负载均衡器

[root@nginx_server ~]# systemctl stop firewalld

[root@nginx_server ~]# setenforce 0

setenforce: SELinux is disabled

[root@nginx_server ~]# yum -y install pcre-devel zlib-devel openssl-devel gcc gcc-c++ make

[root@nginx_server ~]# useradd -M -s /sbin/nologin nginx

[root@nginx_server ~]# cd /opt

[root@nginx_server opt]# tar zxvf nginx-1.12.0.tar.gz -C /opt/

[root@nginx_server opt]# cd nginx-1.12.0/

[root@nginx_server nginx-1.12.0]# ./configure \

> --prefix=/usr/local/nginx \

> --user=nginx \

> --group=nginx \

> --with-file-aio \                 #启用文件修改支持

> --with-http_stub_status_module \  #启用状态统计

> --with-http_gzip_static_module \  #启用gzip静态压缩

> --with-http_flv_module \          #启用flv模块，提供对flv视频的伪流支持

> --with-http_ssl_module \          #启用SSL谋爱，提供SSL加密功能

> --with-stream                     #启用stream模块，提供4层调度

[root@nginx_server nginx-1.12.0]# make -j 2 && make install

[root@nginx_server nginx-1.12.0]# ln -s /usr/local/nginx/sbin/nginx /usr/local/sbin

[root@nginx_server nginx-1.12.0]# vim /lib/systemd/system/nginx.service

[Unit]

Description=nginx

After=network.target        

[Service]

Type=forking

PIDFile=/usr/local/nginx/logs/nginx.pid

ExecStart=/usr/local/nginx/sbin/nginx

ExecReload=/bin/klll -s HUP $MAINPID

ExecStop=/bin/kill -s QUIT $MAINPID

PrivateTmp=true

[Install]

WantedBy=multi-user.target

[root@nginx_server nginx-1.12.0]# chmod 754 /lib/systemd/system/nginx.service

[root@nginx_server nginx-1.12.0]# systemctl start nginx.service

[root@nginx_server nginx-1.12.0]# systemctl enable nginx.service

Created symlink from /etc/systemd/system/multi-user.target.wants/nginx.service to /usr/lib/systemd/system/nginx.service.

3. 部署2台Tomcat应用服务器

（1）tomcat_server1配置

[root@tomcat_server1 ~]# systemctl stop firewalld

[root@tomcat_server1 ~]# setenforce 0

setenforce: SELinux is disabled

[root@tomcat_server1 ~]# cd /opt

[root@tomcat_server1 opt]# tar zxvf jdk-8u91-linux-x64.tar.gz -C /usr/local/

[root@tomcat_server1 opt]# vim /etc/profile.d/java.sh

export JAVA_HOME=/usr/local/jdk1.8.0_91

export JRE_HOME=$JAVA_HOME/jre

export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib

export PATH=$JAVA_HOME/bin:$PATH

[root@tomcat_server1 opt]# source /etc/profile.d/java.sh

[root@tomcat_server1 opt]# java -version

java version "1.8.0_91"

Java(TM) SE Runtime Environment (build 1.8.0_91-b14)

Java HotSpot(TM) 64-Bit Server VM (build 25.91-b14, mixed mode)

[root@tomcat_server1 opt]# tar zxvf apache-tomcat-8.5.16.tar.gz

[root@tomcat_server1 opt]# mv /opt/apache-tomcat-8.5.16 /usr/local/tomcat

[root@tomcat_server1 opt]# ln -s /usr/local/tomcat/bin/* /usr/local/sbin

[root@tomcat_server1 opt]# shutdown.sh

[root@tomcat_server1 opt]# startup.sh

[root@tomcat_server1 opt]# netstat -natp | grep 8080

tcp6       0      0 :::8080                 :::*                    LISTEN      2819/java

（2）tomcat_server2配置

[root@tomcat_server2 ~]# systemctl stop firewalld

[root@tomcat_server2 ~]# setenforce 0

setenforce: SELinux is disabled

[root@tomcat_server2 ~]# cd /opt

[root@tomcat_server2 opt]# tar zxvf jdk-8u91-linux-x64.tar.gz -C /usr/local/

[root@tomcat_server2 opt]# vim /etc/profile.d/java.sh

export JAVA_HOME=/usr/local/jdk1.8.0_91

export JRE_HOME=$JAVA_HOME/jre

export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib

export PATH=$JAVA_HOME/bin:$PATH

[root@tomcat_server2 opt]# source /etc/profile.d/java.sh

[root@tomcat_server2 opt]# java -version

java version "1.8.0_91"

Java(TM) SE Runtime Environment (build 1.8.0_91-b14)

Java HotSpot(TM) 64-Bit Server VM (build 25.91-b14, mixed mode)

[root@tomcat_server2 opt]# tar zxvf apache-tomcat-8.5.16.tar.gz

[root@tomcat_server2 opt]# mkdir /usr/local/tomcat

[root@tomcat_server2 opt]# mv /opt/apache-tomcat-8.5.16 /usr/local/tomcat/tomcat1

[root@tomcat_server2 opt]# /usr/local/tomcat/tomcat1/bin/shutdown.sh

[root@tomcat_server2 opt]# /usr/local/tomcat/tomcat1/bin/startup.sh

[root@tomcat_server2 opt]# netstat -natp | grep :8080

tcp6       0      0 :::8080                 :::*                    LISTEN      2926/java

[root@tomcat_server2 opt]# cp -a /usr/local/tomcat/tomcat1 /usr/local/tomcat/tomcat2

[root@tomcat_server2 opt]# vim /etc/profile.d/tomcat.sh

#tomcat1

export CATALINA_HOME1=/usr/local/tomcat/tomcat1

export CATALINA_BASE1=/usr/local/tomcat/tomcat1

export TOMCAT_HOME1=/usr/local/tomcat/tomcat1

#tomcat2

export CATALINA_HOME2=/usr/local/tomcat/tomcat2

export CATALINA_BASE2=/usr/local/tomcat/tomcat2

export TOMCAT_HOME2=/usr/local/tomcat/tomcat2

[root@tomcat_server2 opt]# source /etc/profile.d/tomcat.sh

4. 动静分离配置

（1）Tomcat_server1配置

[root@tomcat_server1 opt]# mkdir /usr/local/tomcat/webapps/test

[root@tomcat_server1 opt]# vim /usr/local/tomcat/webapps/test/index.jsp

<%@ page language="java" import="java.util.*" pageEncoding="UTF-8"%>

<html>

<head>

<title>JSP test1 page</title>   #指定为 test1 页面

</head>

<body>

<% out.println("动态页面 1,http://www.test1.com");%>

</body>

</html>

[root@tomcat_server1 opt]# vim /usr/local/tomcat/conf/server.xml

#注释148-164行，在165行前插入以下内容

      <Host name="tomcat_server1"  appBase="webapps" unpackWARs="true" autoDeploy="true" xmlValidation="false" xmlNamespaceAware="false">

         <Context docBase="/usr/local/tomcat/webapps/test" path="" reloadable="true">

         </Context>

      </Host>

（2）Tomcat_sever2配置

实例1

[root@tomcat_server2 tomcat]# mkdir /usr/local/tomcat/tomcat1/webapps/test /usr/local/tomcat/tomcat2/webapps/test

[root@tomcat_server2 tomcat]# vim /usr/local/tomcat/tomcat1/webapps/test/index.jsp

<%@ page language="java" import="java.util.*" pageEncoding="UTF-8"%>

<html>

<head>

<title>JSP test2 page</title>

</head>

<body>

<% out.println("动态页面 2,http://www.test2.com");%>

</body>

</html>

[root@tomcat_server2 tomcat]# vim /usr/local/tomcat/tomcat1/conf/server.xml

#注释148-164行，在165行前插入以下内容

      <Host name="localhost"  appBase="webapps" unpackWARs="true" autoDeploy="true" xmlValidation="false" xmlNamespaceAware="false">

         <Context docBase="/usr/local/tomcat/tomcat1/webapps/test" path="" reloadable="true">

         </Context>

      </Host>

[root@tomcat_server2 tomcat]# /usr/local/tomcat/tomcat1/bin/shutdown.sh

[root@tomcat_server2 tomcat]# /usr/local/tomcat/tomcat1/bin/startup.sh

[root@tomcat_server2 tomcat]# netstat -natp | grep java

tcp6       0      0 :::8080                 :::*                    LISTEN      4205/java

tcp6       0      0 127.0.0.1:8005          :::*                    LISTEN      4205/java

tcp6       0      0 :::8009                 :::*                    LISTEN      4205/java

实例2

[root@tomcat_server2 tomcat]# vim /usr/local/tomcat/tomcat2/webapps/test/index.jsp

<%@ page language="java" import="java.util.*" pageEncoding="UTF-8"%>

<html>

<head>

<title>JSP test3 page</title>

</head>

<body>

<% out.println("动态页面 3,http://www.test3.com");%>

</body>

</html>

[root@tomcat_server2 tomcat]# vim /usr/local/tomcat/tomcat1/conf/server.xml

<Server port="8006" shutdown="SHUTDOWN">

#22行，修改Server port，默认为8005，修改为任意不冲突的端口号，这里设为8006

<Connector port="8081" protocal="HTTP/1.1"

#69行，修改Connector port，HTTP/1.1，默认为8080，修改为任意不冲突的端口号，这里设为8081

<Connector port="8010" protocol="AJP/1.3" redirectPort="8443" />

#116行，修改Connector port，AJP/1.3，默认为8009，修改为任意不冲突的端口号，这里设为8010

#注释148-164行，在165行前插入以下内容

      <Host name="localhost"  appBase="webapps" unpackWARs="true" autoDeploy="true" xmlValidation="false" xmlNamespaceAware="false">

         <Context docBase="/usr/local/tomcat/tomcat2/webapps/test" path="" reloadable="true">

         </Context>

      </Host>

[root@tomcat_server2 tomcat]# /usr/local/tomcat/tomcat2/bin/shutdown.sh

[root@tomcat_server2 tomcat]# /usr/local/tomcat/tomcat2/bin/startup.sh

[root@tomcat_server2 tomcat]# netstat -natp | grep java

tcp6       0      0 :::8080                 :::*                    LISTEN      4205/java

tcp6       0      0 :::8081                 :::*                    LISTEN      4332/java

tcp6       0      0 127.0.0.1:8005          :::*                    LISTEN      4205/java

tcp6       0      0 127.0.0.1:8006          :::*                    LISTEN      4332/java

tcp6       0      0 :::8009                 :::*                    LISTEN      4205/java

tcp6       0      0 :::8010                 :::*                    LISTEN      4332/java

（3）nginx_servr配置

准备静态页面和静态图片

[root@nginx_server nginx-1.12.0]# echo '<html><body><h1>这是静态页面</h1></body></html>' > /usr/local/nginx/html/index.html

[root@nginx_server nginx-1.12.0]# mkdir /usr/local/nginx/html/img

[root@nginx_server nginx-1.12.0]# cd /usr/local/nginx/html/img

#将准备好的图片传入该目录

[root@nginx_server img]# vim /usr/local/nginx/conf/nginx.conf

.......

http {

......

    #gzip on;

    ##配置负载均衡的服务器列表，weight参数表示权重，权重越高，被分配到的概率越大

    upstream tomcat_server {

        server 192.168.122.100:8080 weight=1;

        server 192.168.122.101:8080 weight=1;

        server 192.168.122.101:8081 weight=1;

    }

    server {

        listen       80;

        server_name  localhost;

        charset utf-8;

        ##access_log  logs/host.access.log  main;

        ##配置Nginx处理动态页面请求，将.jsp文件请求转发到Tomcat服务器处理

        location ~ .*\.jsp$ {

            proxy_pass http://tomcat_server;

##设置后端的Web服务器可以获取远程客户端的真实IP

##设定后端的Web服务器接受到的请求访问的主机名（域名或IP、端口），默认HOST的值为proxy_pass指定设置的主机名。如果反向代理服务器不重写该请求头的话，那么后端真实服务器在处理时会认为所有的请求都来自反向服务器，如果后端有防攻击策略的话，那么机器就被封掉了。

            proxy_set_header HOST $host;

##把$remote_addr赋值给X-Real-IP，来获取源IP

            proxy_set_header X-Real-IP $remote_addr;

##在nginx作为代理服务器时，设置的IP列表，会把经过的机器ip，代理机器ip都记录下来

            proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;

        ##配置Nginx处理静态图片请求

        location ~ .*\.(gif|jpg|jpeg|png|bmp|swf|css)$ {

            root /usr/local/nginx/html/img;

            expires 10d;

        }

......

}

也可用四层反向代理

四层反向代理需要使用stream模块，可通过./configure --with-stream加载该模块。

[root@nginx_server img]# vim /usr/local/nginx/conf/nginx.conf

#stream与http同等级，所以一般只在http上面一段设置

stream {

    upstream appserver {

        server 192.168.122.100:8080 weight=1;

        server 192.168.122.101:8080 weight=1;

        server 192.168.122.101:8081 weight=1;

    }

    server {

        listen 8080;

        proxy_pass appserver;

    }

}

......

（4）浏览器访问测试

测试静态页面效果

浏览器访问http://192.168.122.10/

浏览器访问http://192.168.122.10/jobs.jpg
测试负载均衡效果，不断刷新浏览器测试

浏览器访问http://192.168.122.10/index.jsp