Ubuntu下基于Nginx实现Tomcat集群负载均衡

Nginx是一款HTTP和反向代理服务器，有关它的介绍可以到网上搜一下，很多很多，不再累述。这里，我们记录一下Nginx的安装过程，以及如何配置Nginx来实现Tomcat集群的负载均衡。

基本思路

假如现在我们有一个使用Java实现的Web搜索服务器，用户可以通过Web页面输入关键词，搜索服务器处理搜索请求并向用户展示搜索结果。如果用户访问量很大的话，我们的这台搜索服务器承受的压力会很大，很可能由于搜索服务器的处理能力达到上限，在某一个时刻无法再处理用户新到来的请求。所以，我们就考虑将用户请求的压力分散开，即在多台服务器上部署同一套搜索服务器程序，然后通过一个负载均衡策略，将请求的压力分摊在多台搜索服务器上，这样，在用户请求量很大的情况下，很好解决单台服务器的无法处理请求的问题。

我们的想法就是，通过一台服务器做代理，使用负载均衡软件实现请求的代理转发，将用户的请求转发到多台搜索服务器上去处理，就能实现多台搜索服务器的负载均衡，而不致于单一服务器处理所有请求。

假设，我们现在有三台机器，各台服务器如下所示：

搜索服务器：192.168.0.174 RHEL 5
搜索服务器：192.168.0.181 Win 7
代理服务器：192.168.0.184 Ubuntu 11.04.1

通过使用Nginx做反向代理，安装在192.168.0.184上。另外两台服务器均为搜索服务器，并且都安装了Tomcat Web服务器软件，搜索服务器程序就部署在Tomcat中。服务器192.168.0.184接收搜索请求，并通过Nginx将请求转发到两台搜索服务器上进行处理，然后返回结果，通过Nginx代理响应的搜索结果。

配置资源

这里，说明一下我们各台服务器的软件配置，及其应用端口，如下所示：

服务器IP:端口	软件配置
192.168.0.174:8080	OpenJDK 1.6.0_22, apache-tomcat-7.0.22.tar
192.168.0.181:8080	Sun JDK 1.6.0_17, apache-tomcat-6.0.20.exe
192.168.0.184:8888	nginx-1.0.8.targz, pcre-8.13.tar.gz

安装配置过程

Nginx安装

下载nginx-1.0.8.targz, pcre-8.13.tar.gz这两个安装包，并解压缩到目录/home/shirdrn/tools下面，然后安装过程如下所示：

cd /home/shirdrn/tools
tar -xvf pcre-8.13.tar.bz2
tar -xzvf nginx-1.0.8.tar.gz
cd /home/shirdrn/tools/nginx-1.0.8
./configure --with-http_stub_status_module --prefix=/home/shirdrn/servers/nginx --with-pcre=/home/shirdrn/tools/pcre-8.13
make
make install

执行上述命令，需要使用超级用户权限，将我们的Nginx安装到/home/shirdrn/servers/nginx-1.0.8下面，由于指定了--with-pcre=/home/shirdrn/tools/pcre-8.13，即pcre的源码路径，在安装的过程首先编译pcre并安装，然后才开始配置安装Nginx。

验证是否安装成功，只需要在浏览器输入http://192.168.0.184:8888/即可，默认Nginx使用80端口，这里我的80端口被占用了，所以修改为8888（有关Nginx的基本配置在下面说明）。

Ngin负载均衡配置

下面，我们看一下我们实现Nginx负载均衡的配置。配置文件为conf/nginx.conf，由于我们进行的代理的配置，通过使用一个单独的代理配置文件conf/proxy.conf，在conf/nginx.conf中引入该代理配置即可。

conf/proxy.conf的配置内容如下所示：

proxy_redirect off;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
client_max_body_size 10m;
client_body_buffer_size 128k;
proxy_connect_timeout 300;
proxy_send_timeout 300;
proxy_read_timeout 300;
proxy_buffer_size 4k;
proxy_buffers 4 32k;
proxy_busy_buffers_size 64k;
proxy_temp_file_write_size 64k;

各配置项的含义，可以通过查阅相关文档了解。下面看conf/nginx.conf的配置，我们根据实践操作所做的修改，并对相关基本配来做适当的说明，如下所示：

user root root; # Nginx所在的用户和用户组
worker_processes 3; # 启动的工作进程数量
#error_log logs/error.log;
#error_log logs/error.log notice;
#error_log logs/error.log info;
pid logs/nginx.pid; # Nginx进程ID
events {
worker_connections 1024;
}
http {
include mime.types;
default_type application/octet-stream;
#log_format main '$remote_addr - $remote_user [$time_local] "$request" '
# '$status $body_bytes_sent "$http_referer" '
# '"$http_user_agent" "$http_x_forwarded_for"';
#access_log logs/access.log main;
sendfile on;
#tcp_nopush on;
#keepalive_timeout 0;
keepalive_timeout 65;
#gzip on;
upstream localhost { # 发到localhost上的请求，通过Nginx转发到实际处理请求的服务器
server 192.168.0.181:8080 weight=1;
server 192.168.0.184:8080 weight=1;
}
server {
listen 8888; # Nginx监听的端口，默认为80
server_name localhost; # Nginx所在主机的名称
#charset koi8-r;
#access_log logs/host.access.log main;
location / {
root html/solr; # 请求资源的路径（代理：/home/shirdrn/servers/nginx/tml/solr/，该目录下没有任何数据）
index index.html index.htm;
proxy_pass http://localhost; # 代理：对发送到localhost上请求进行代理
include proxy.conf; # 引入proxy.conf配置
}
#error_page 404 /404.html;
# redirect server error pages to the static page /50x.html
#
error_page 500 502 503 504 /50x.html;
location = /50x.html {
root html;
}
# proxy the PHP scripts to Apache listening on 127.0.0.1:80
#
#location ~ \.php$ {
# proxy_pass http://127.0.0.1;
#}
# pass the PHP scripts to FastCGI server listening on 127.0.0.1:9000
#
#location ~ \.php$ {
# root html;
# fastcgi_pass 127.0.0.1:9000;
# fastcgi_index index.php;
# fastcgi_param SCRIPT_FILENAME /scripts$fastcgi_script_name;
# include fastcgi_params;
#}
# deny access to .htaccess files, if Apache's document root
# concurs with nginx's one
#
#location ~ /\.ht {
# deny all;
#}
}
# another virtual host using mix of IP-, name-, and port-based configuration
#
#server {
# listen 8000;
# listen somename:8080;
# server_name somename alias another.alias;
# location / {
# root html;
# index index.html index.htm;
# }
#}
# HTTPS server
#
#server {
# listen 443;
# server_name localhost;
# ssl on;
# ssl_certificate cert.pem;
# ssl_certificate_key cert.key;
# ssl_session_timeout 5m;
# ssl_protocols SSLv2 SSLv3 TLSv1;
# ssl_ciphers HIGH:!aNULL:!MD5;
# ssl_prefer_server_ciphers on;
# location / {
# root html;
# index index.html index.htm;
# }
#}
}

启动Nginx

启动Nginx比较简单，有两种方式：一种是直接使用默认安装路径下的nginx.conf，启动命令如下所示：

/home/shirdrn/servers/nginx-1.0.8/sbin/nginx

另一种是，nginx.conf配置可以放到其他目录下面，启动时通过-c选项指定配置文件路径即可，启动命令如下所示：

/home/shirdrn/servers/nginx-1.0.8/sbin/nginx -c /home/shirdrn/servers/nginx-1.0.8/conf/nginx.conf

可以查看启动进程：

root@dev2:~$ ps -ef | grep nginx
root 15952 1 0 18:56 ? 00:00:00 nginx: master process sbin/nginx
root 15953 15952 0 18:56 ? 00:00:00 nginx: worker process
root 15954 15952 0 18:56 ? 00:00:00 nginx: worker process
root 15955 15952 0 18:56 ? 00:00:00 nginx: worker process
ubuntu 22988 22887 0 22:19 pts/0 00:00:00 grep --color=auto nginx

查看Nginx监听的端口号：

root@dev2:/home/ubuntu# netstat -nap | grep '8888'
tcp 0 0 0.0.0.0:8888 0.0.0.0:* LISTEN 15952/nginx

Tomcat配置

无论在Windows下还是Linux下，Tomcat的配置无需做额外的配置，只要能够发布你的Web应用即可。但是，我们通过Nginx进行反向代理请求，必须保证多个Tomcat下的Web应用的请求路径相一致，例如，我们配置的两台搜索服务器的单独请求路径，分别如下所示：

http://192.168.0.174:8080/solr/core0/search/?q=九寨沟&start=0&rows=10
http://192.168.0.181:8080/solr/core0/search/?q=马尔代夫&start=0&rows=10

我们将我们的搜索服务器程序，分别发布到这两台搜索服务器的Tomcat上，可以通过实际接口进行单独接收请求并处理。

测试验证

下面，来测试一下，验证我们上述配置的内容，是否能够按照开始设计的思路，实现负载均衡。由于在Nginx的配置中，我们设置了两台搜索服务器处理请求的权重为1:1，所以在测试的过程中很容易就能看到。由于所有的请求都是先到达代理服务器，通过代理服务器进行转发，所以对外部只有一个统一的接口：

http://192.168.0.184:8888/solr/core0/search/?q=普吉岛&start=0&rows=10

根据代理配置，代理服务器只是转发请求和相应，而不做请求的处理等工作，所以负荷会小一些。通过负载分摊，两个搜索服务器的负荷也会比单台的情况下有所好转。上面代理的请求链接，实际会转换为如下两者之一：

http://192.168.0.174:8080/solr/core0/search/?q=普吉岛&start=0&rows=10
http://192.168.0.181:8080/solr/core0/search/?q=普吉岛&start=0&rows=10

我们看一下，各台服务器实际执行时的日志记录。如下4个请求：

http://192.168.0.184:8888/solr/core0/search/?q=九寨沟&start=0&rows=10
http://192.168.0.184:8888/solr/core0/search/?q=普吉岛&start=0&rows=10
http://192.168.0.184:8888/solr/core0/search/?q=马尔代夫&start=0&rows=10
http://192.168.0.184:8888/solr/core0/search/?q=西双版纳&start=0&rows=10

Nginx日志，如下所示：

192.168.0.181 - - [05/Oct/2011:21:42:05 +0800] "GET /solr/core0/search/?q=九寨沟&start=0&rows=10 HTTP/1.1" 200 329495 "-" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/534.30 (KHTML, like Gecko) Chrome/12.0.742.122 Safari/534.30"
192.168.0.181 - - [05/Oct/2011:21:42:12 +0800] "GET /solr/core0/search/?q=普吉岛&start=0&rows=10 HTTP/1.1" 200 110349 "-" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/534.30 (KHTML, like Gecko) Chrome/12.0.742.122 Safari/534.30"
192.168.0.181 - - [05/Oct/2011:21:42:25 +0800] "GET /solr/core0/search/?q=马尔代夫&start=0&rows=10 HTTP/1.1" 200 85572 "-" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/534.30 (KHTML, like Gecko) Chrome/12.0.742.122 Safari/534.30"
192.168.0.181 - - [05/Oct/2011:21:42:32 +0800] "GET /solr/core0/search/?q=西双版纳&start=0&rows=10 HTTP/1.1" 200 141030 "-" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/534.30 (KHTML, like Gecko) Chrome/12.0.742.122 Safari/534.30"

我们看一下，各台搜索服务器接收请求处理的日志：
搜索服务器192.168.0.174请求处理日志：

2011-10-5 21:42:12 org.apache.solr.core.SolrCore execute
信息: [core0] webapp=/solr path=/search/ params={bq=spiderName:baseSeSpider^1.5&start=0&q=普吉岛&rows=10} hits=16 status=0 QTime=48
2011-10-5 21:42:32 org.apache.solr.core.SolrCore execute
信息: [core0] webapp=/solr path=/search/ params={bq=spiderName:baseSeSpider^1.5&start=0&q=西双版纳&rows=10} hits=29 status=0 QTime=54

搜索服务器192.168.0.181请求处理日志：

2011-10-5 21:42:06 com.chenlb.mmseg4j.solr.MMSegTokenizerFactory newSeg
信息: create new Seg ...
2011-10-5 21:42:06 com.chenlb.mmseg4j.solr.MMSegTokenizerFactory newSeg
信息: use complex mode
2011-10-5 21:42:08 com.chenlb.mmseg4j.solr.MMSegTokenizerFactory newSeg
信息: create new Seg ...
2011-10-5 21:42:08 com.chenlb.mmseg4j.solr.MMSegTokenizerFactory newSeg
信息: use complex mode
2011-10-5 21:42:08 org.apache.solr.core.SolrCore execute
信息: [core0] webapp=/solr path=/search/ params={bq=spiderName:baseSeSpider^1.5&start=0&q=九寨沟0&rows=10} hits=54 status=0 QTime=2116
2011-10-5 21:42:27 com.chenlb.mmseg4j.solr.MMSegTokenizerFactory newSeg
信息: create new Seg ...
2011-10-5 21:42:27 com.chenlb.mmseg4j.solr.MMSegTokenizerFactory newSeg
信息: use complex mode
2011-10-5 21:42:28 com.chenlb.mmseg4j.solr.MMSegTokenizerFactory newSeg
信息: create new Seg ...
2011-10-5 21:42:28 com.chenlb.mmseg4j.solr.MMSegTokenizerFactory newSeg
信息: use complex mode
2011-10-5 21:42:29 org.apache.solr.core.SolrCore execute
信息: [core0] webapp=/solr path=/search/ params={bq=spiderName:baseSeSpider^1.5&start=0&q=马尔代夫0&rows=10} hits=57 status=0 QTime=1721

测试发现，虽然只有4个请求，但是在负载权重相等情况下，很好地分摊到两台搜索服务器上去进行请求的实际处理。通过上面日志可以看出，我们基本实现了一开始设计的思路。

From: http://blog.csdn.net/shirdrn/article/details/6845520