lVS/haproxy

haproxy 安装配置

 

1. 下载及安装

wget http://haproxy.1wt.eu/download/1.4/src/haproxy-1.4.21.tar.gz

tar zxvf haproxy-1.4.21.tar.gz

cd haproxy-1.4.21

make TARGET=linux26 PREFIX=/usr/local/haproxy

make install PREFIX=/usr/local/haproxy

2.  配置

vi /usr/local/haproxy/haproxy.cfg

global
        log 127.0.0.1   local0
        maxconn 65535
        chroot /usr/local/haproxy
        uid 99
        gid 99
        daemon
        nbproc 8
        pidfile /usr/local/haproxy/haproxy.pid

defaults
        log     127.0.0.1  local3
        mode    http
        option  httplog
        option  httpclose
        option  dontlognull
        option  forwardfor
        retries 2
        option  redispatch
        maxconn 2000
        balance source
        stats uri /web-status
        contimeout      5000
        clitimeout      50000
        srvtimeout      50000

listen  bbs.wxd5981.com

bind *:8089
        mode http
        option httplog
        log global
        option httpchk HEAD /web/bbs/index.php HTTP/1.0
        server  web1 192.1.1.128:80 weight 5 check inter 2000 rise 2 fall 3

3.  启动及停止

/usr/local/haproxy/sbin/haproxy -f /usr/local/haproxy/haproxy.cfg    #启动

killall haproxy      #停止

4. 加上日志支持，代码如下:

vi /etc/syslog.conf
添加：

local3.*        /var/log/haproxy.log 
local0.*        /var/log/haproxy.log

vi /etc/sysconfig/syslog
修改：
SYSLOGD_OPTIONS="-r -m 0"

service syslog restart   #最后重启syslog服务

 

 

lvs 总结2

2011年12月14日没有评论

 

lvs中2个组件:  ipvs和ipvsadm

1.  ipvs

ipvs是工作在内核的一段代码,2.6的内核已经包含了这段代码

2. ipvsadm

ipvsadm 是工作在用户层的程序,需要手动安装

3.  在DR模式中,数据包在节点间传输是靠mac地址,因为realserver和调度机都有vip,为了防止冲突,需要把real server的vip隐藏起来,使其对vip解析的arp请求不做响应.即当有一个客户端访问vip时,real server不响应此请求.

这样一来,响应请求的则只是调度机上的vip,调度机接收到请求后,根据算法选中其中一个real server来响应,调度机把目的mac改为real server的mac,源ip还是客户端的ip,目标ip为real server的vip.realserver 接收此数据包,并直接返回给客户端即

client ip+clientmac  ---->  调度机vip 调度机mac----> real server的mac  realserver的vip--> 返回给客户端

4.  real server 隐藏vip

需要用到两个内核参数，arp_announce和arp_ignore. 这两个参数的目的就是把real server上的vip隐藏起来,不响应.只用于接收调度机转发过来的数据包,然后处理此包返回给客户端.

arp_announce 在某个网卡上向外通知自己的mac和ip对应的关系时的限制级别，即别人来请求时我用哪个地址进行响应。

0 默认 全部响应

1 尽可能的避免使用另外的接口的地址响应客户端的请求

2 只使用可以匹配到客户端的最佳地址响应

arp_ignore 当收到别人的请求我给于响应时的响应类型 ，即我对哪些请求给于响应，哪些不给于响应。

0 默认 全部响应

1 从接受请求的接口响应，即如果请求解析的网卡不是接受请求的网卡则不给于响应。

所以我们可以在real server上把vip配置在lo回环网卡上，然后令arp_announce=2，arp_ignore=1因为直接连接的应该是eth0网卡，而不是lo网卡，所以即可实现隐藏VIP。

注意：因为当real server1直接将请求的数据发给client时是从eth0出去的，所以系统会默认把eth0的ip作为源ip，而我们需要无论如何将VIP作为源ip，此时我们只需要添加一条主机路由即可。

 

 

apache2+tomcat6 集群配置实现session同步

2011年11月9日没有评论

 

A. 配置前的几点知识总结:

1.  集群:  能实现状态同步(例如session复制)功能的2台或者多台服务器组成的架构

2.  负载均衡:  只实现负载被2台或者多台服务器处理的架构

3.  在处理session状态可以配置成session保持和session同步两种状态.  session保持是同一个客户端的所有请求分给同一个server处理,同步是集群中所有节点都有一份session拷贝,任何一个节点坏掉,不影响其它节点,服务也不中断

4.  tomcat集群中session的同步中是使用组播协议寻找和添加节点,使用tcp协议传输session数据,因此需要查看各节点服务器是否支持组播.查看方法是运行ifconfig 命令.如果有UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1 则表示支持组播.其中BROADCAST表示广播,MULTICAST表示组播

5.  环境介绍: apache 2.2   tomcat 6.0  请务必注意,apache和tomcat的版本不同,配置的参数不一样,tomcat6和tomcat5配置集群的配置参数就不一样.请务必注意,切勿生抄.

B.  如下是具体配置过程: (tomcat在两台服务器上)

apache和tomcat1在192.1.1.105机器上,tomcat2在192.1.1.115机器上.

1.  apache和tomcat 安装 不在赘述,具体贴出配置文件:

httpd.conf:

NameVirtualHost *:80

<Directory "/data/wwwroot/">
    Options None
    AllowOverride None
    Order allow,deny
    Allow from all
</Directory>

<VirtualHost *:80>
    ServerAdmin webmaster@wxd5981.com
    DocumentRoot /data/wwwroot/
    ServerName 192.1.1.105
    ErrorLog logs/mzk-error_log
    CustomLog logs/mzk-access_log combined
    JkMount /*.jsp controller
    JkMount /*.action controller
    JkMount /*.servlet controller
</VirtualHost>

LoadModule jk_module modules/mod_jk.so
JkWorkersFile /usr/local/tomcat6/conf/jk/workers.properties
JkShmFile logs/mod_jk.shm
JkLogFile /usr/local/tomcat6/logs/mod_jk.log
JkLogLevel info
JkMount /*.jsp controller

workers.properties文件:

worker.list=controller

#-----------------------------
worker.tomcat1.port=8009
worker.tomcat1.host=localhost
worker.tomcat1.type=ajp13
worker.tomcat1.lbfactor=1

#------------------------------

worker.tomcat2.port=8009
worker.tomcat2.host=192.1.1.115
worker.tomcat2.type=ajp13
worker.tomcat2.lbfactor=1

#-----------------------------

worker.controller.type=lb
worker.controller.balance_workers=tomcat1,tomcat2  
worker.controller.sticky_session=0

tomcat1 的server.xml文件:

<Engine name="Catalina" defaultHost="localhost" jvmRoute="tomcat1">

<Cluster className="org.apache.catalina.ha.tcp.SimpleTcpCluster"  
         channelSendOptions="8">  
  
  <Manager className="org.apache.catalina.ha.session.DeltaManager"  
           expireSessionsOnShutdown="false"  
           notifyListenersOnReplication="true"/>  
  
  <Channel className="org.apache.catalina.tribes.group.GroupChannel">  
    <Membership className="org.apache.catalina.tribes.membership.McastService"  
                address="228.0.0.4"  
                port="45564"  
                frequency="500"  
                dropTime="3000"/>  
    <Receiver className="org.apache.catalina.tribes.transport.nio.NioReceiver"  
              address="192.1.1.105"  
              port="4000"  
              autoBind="100"  
              selectorTimeout="5000"  
              maxThreads="6"/>  
  
    <Sender className="org.apache.catalina.tribes.transport.ReplicationTransmitter">  
      <Transport className="org.apache.catalina.tribes.transport.nio.PooledParallelSender"/>  
    </Sender>  
    <Interceptor className="org.apache.catalina.tribes.group.interceptors.TcpFailureDetector"/>  
    <Interceptor className="org.apache.catalina.tribes.group.interceptors.MessageDispatch15Interceptor"/>  
  </Channel>  
  
  <Valve className="org.apache.catalina.ha.tcp.ReplicationValve"  
         filter=""/>  
  <Valve className="org.apache.catalina.ha.session.JvmRouteBinderValve"/>  
  
  <Deployer className="org.apache.catalina.ha.deploy.FarmWarDeployer"  
            tempDir="/tmp/war-temp/"  
            deployDir="/tmp/war-deploy/"  
            watchDir="/tmp/war-listen/"  
            watchEnabled="false"/>  
  
  <ClusterListener className="org.apache.catalina.ha.session.JvmRouteSessionIDBinderListener"/>  
  <ClusterListener className="org.apache.catalina.ha.session.ClusterSessionListener"/>  
</Cluster>

tomcat2的server.xml只需要改两个地方:

1.  <Engine name="Catalina" defaultHost="localhost" jvmRoute="tomcat2">

2. <Receiver className="org.apache.catalina.tribes.transport.nio.NioReceiver"  
              address="192.1.1.115"

几点需要注意的:

1.  更新文件后,两个tomcat先重启,apache后重启

2. worker.controller.sticky_session=0           0是session同步,1是session保持

3.  网卡开启多播 :
route add -net 224.0.0.0 netmask 240.0.0.0 dev eth0

4.  多播的地址是特定的，D类地址用于多播。D类IP地址就是多播IP地址，即224.0.0.0至239.255.255.255之间的IP地址，并被划分为局部连接多播地址、预留多播地址和管理权限多播地址3类：

局部多播地址：在224.0.0.0～224.0.0.255之间，这是为路由协议和其他用途保留的地址，路由器并不转发属于此范围的IP包。

预留多播地址：在224.0.1.0～238.255.255.255之间，可用于全球范围（如Internet）或网络协议。

管理权限多播地址：在239.0.0.0～239.255.255.255之间，可供组织内部使用，类似于私有IP地址，不能用于Internet，可限制多播范围。

5.  多播即组播,可在广域网传输,而广播则不能在广域网传输,只能在局域网传输

6.  需要在工程的web.xml文件中添加<distributable/>一行,否则session不复制

附件是测试session复制的应用.环境配好后,放置tomcat设置的webapp目录下.
test.zip

 

 

lvs+keepalived的一些总结和认识

2011年8月22日没有评论

 

lvs: linux虚拟服务器,其在前端充当一个负载调度器的角色,能够按照策略将负载分配到后端的真实服务器上
keepalived: 如果lvs只有一台前端调度器,如果调度器宕机,那么整个服务就全部无法访问,为了避免此类问题,则需要有个备用调度器来实现failover.

在知道如何配置前,先把组件的工作原理搞明白,其实配置的话是很简单的. 举例DR模式

1.  前段调度器

使用ipvsadm核心组件来实现调度管理,使用ipvsadm命令添加一个虚拟服务器,指定一个虚拟IP地址,这个虚拟ip地址就是对外发布的地址,但提供响应的服务器是后端的真实服务器,而且是后端服务器直接响应客户端,不是通过前段代理服务器转发给客户端的,这点比较关键.这也是为什么要在后端的真实服务器上的LO网卡配置一个vip的原因.不配置的话,realserver会以为此数据库不是发给自己的,而将其丢弃.

2.  realserver

后端的realserver是响应客户端请求的服务器,而且直接发送数据包给客户端,有2个参数需要理解一下:

arp_ignore = 1 :  Linux 核心中的一个arp_ignore 参数，该参数默认值为0。即对ARP请求时，只要该IP在本地的机器任意网卡设备上存在都会响应,设置为1则表示系统只回答目的IP为是本地IP的包,也就是对广播包不做响应

arp_announce=2，系统忽略IP包的源地址（source address），而根据目标主机（target host），选择本地地址,即由linux系统来选择使用哪个网卡设备,响应客户端请求.

通俗的来说就是让realserver响应客户端的请求时,不使用vip这个网卡设备来响应,否则的话,调度器的vip就会失效.

调度器在将请求数据包转发给后端realserver时,会把包的目的MAC地址改成realserver的mac地址,客户端的MAC不做更改,这样一来的话,就行成了是客户端直接访问后台realserver的数据包格式.但目的IP地址是VIP,那么realserver想接受这个包,就需要在每个realserver上配置一个VIP,这里是配置lo网卡接口上,在realserver上设置vip是为了让realserver接受调度器转发过来的数据包

设置255.255.255.255则说明了其realserver上的vip的广播地址是本身,这样realserver的vip就不会和调度器的vip冲突

安装步骤:

ipvsadm:的命令介绍: #转一个

对ipvsadm 的命令参考，并根据自己使用的经验，进行了一个简单的翻译，希望
对ipvsadm 的使用者有一定的帮助。
为了更好的让大家理解这份命令手册，将手册里面用到的几个术语先简单的介绍
一下：
1，virtual-service-address:是指虚拟服务器的ip 地址
2，real-service-address:是指真实服务器的ip 地址
3，scheduler：调度方法

ipvsadm 的用法和格式如下：
ipvsadm -A|E -t|u|f virutal-service-address:port [-s scheduler] [-p
[timeout]] [-M netmask]
ipvsadm -D -t|u|f virtual-service-address
ipvsadm -C
ipvsadm -R
ipvsadm -S [-n]
ipvsadm -a|e -t|u|f service-address:port -r real-server-address:port
[-g|i|m] [-w weight]
ipvsadm -d -t|u|f service-address -r server-address
ipvsadm -L|l [options]
ipvsadm -Z [-t|u|f service-address]
ipvsadm --set tcp tcpfin udp
ipvsadm --start-daemon state [--mcast-interface interface]
ipvsadm --stop-daemon
ipvsadm -h
命令选项解释：
有两种命令选项格式，长的和短的，具有相同的意思。在实际使用时，两种都可
以。
-A --add-service 在内核的虚拟服务器表中添加一条新的虚拟服务器记录。也
就是增加一台新的虚拟服务器。
-E --edit-service 编辑内核虚拟服务器表中的一条虚拟服务器记录。
-D --delete-service 删除内核虚拟服务器表中的一条虚拟服务器记录。
-C --clear 清除内核虚拟服务器表中的所有记录。
-R --restore 恢复虚拟服务器规则
-S --save 保存虚拟服务器规则，输出为-R 选项可读的格式
-a --add-server 在内核虚拟服务器表的一条记录里添加一条新的真实服务器
记录。也就是在一个虚拟服务器中增加一台新的真实服务器
-e --edit-server 编辑一条虚拟服务器记录中的某条真实服务器记录
-d --delete-server 删除一条虚拟服务器记录中的某条真实服务器记录
-L|-l --list 显示内核虚拟服务器表
-Z --zero 虚拟服务表计数器清零（清空当前的连接数量等）
--set tcp tcpfin udp 设置连接超时值
--start-daemon 启动同步守护进程。他后面可以是master 或backup，用来说
明LVS Router 是master 或是backup。在这个功能上也可以采用keepalived 的
VRRP 功能。
--stop-daemon 停止同步守护进程
-h --help 显示帮助信息
其他的选项:
-t --tcp-service service-address 说明虚拟服务器提供的是tcp 的服务
[vip:port] or [real-server-ip:port]
-u --udp-service service-address 说明虚拟服务器提供的是udp 的服务
[vip:port] or [real-server-ip:port]
-f --fwmark-service fwmark 说明是经过iptables 标记过的服务类型。
-s --scheduler scheduler 使用的调度算法，有这样几个选项
rr|wrr|lc|wlc|lblc|lblcr|dh|sh|sed|nq,
默认的调度算法是： wlc.
-p --persistent [timeout] 持久稳固的服务。这个选项的意思是来自同一个客
户的多次请求，将被同一台真实的服务器处理。timeout 的默认值为300 秒。
-M --netmask netmask persistent granularity mask
-r --real-server server-address 真实的服务器[Real-Server:port]
-g --gatewaying 指定LVS 的工作模式为直接路由模式（也是LVS 默认的模式）
-i --ipip 指定LVS 的工作模式为隧道模式
-m --masquerading 指定LVS 的工作模式为NAT 模式
-w --weight weight 真实服务器的权值
--mcast-interface interface 指定组播的同步接口
-c --connection 显示LVS 目前的连接 如：ipvsadm -L -c
--timeout 显示tcp tcpfin udp 的timeout 值 如：ipvsadm -L --timeout
--daemon 显示同步守护进程状态
--stats 显示统计信息
--rate 显示速率信息
--sort 对虚拟服务器和真实服务器排序输出
--numeric -n 输出IP 地址和端口的数字形式