openstack私有云布署实践【4.1 上层代理haproxy配置 (科兴环境)】
官方文档上的高可用配置，它推荐的是使用haproxy的上层代理来实现服务组件的主备访问、或者负载均衡访问
一开始我也是使用haproxy来做的，但后来方式改了
测试环境：haproxy + nginx
科兴环境：haproxy
先抛开测试环境，等下我再在4.2节中解说一下配置
两边的kxcontroller主备控制节点均安装
yum install -y haproxy
创建目录
mkdir -p /home/haproxy/log && mkdir -p /home/haproxy/run/
赋予目录权限
chown -R haproxy:haproxy /home/haproxy
在kxcontroller1上的配置示例
[root@kxcontroller1 ~]# vi /etc/haproxy/haproxy.cfg
#全局配置
global
chroot /home/haproxy/log
daemon
group haproxy
maxconn 20000
pidfile /home/haproxy/run/haproxy.pid
user haproxy
defaults
log global
maxconn 20000
option redispatch
retries 3
timeout http-request 10s
timeout queue 1m
timeout connect 10s
timeout client 1m
timeout server 1m
timeout check 10s
#dashboard界面，不考虑VIP在谁身上，这个服务可以负载均衡访问
listen dashboard_cluster_80
bind 10.120.42.10:80
balance source
option tcpka
option httpchk
option tcplog
server kxcontroller1 10.120.42.1:80 check inter 2000 rise 2 fall 5
server kxcontroller2 10.120.42.2:80 check inter 2000 rise 2 fall 5
#数据库集群访问，使用backup访问实现只访问kxcontroller1，而当1挂了的时候才去访问kxcontroller2
listen galera_cluster_3306
bind 10.120.42.10:3306
mode tcp
balance source
option tcpka
option httpchk
server kxcontroller1 10.120.42.1:3306 check port 9200 inter 2000 rise 2 fall 5
server kxcontroller2 10.120.42.2:3306 backup check port 9200 inter 2000 rise 2 fall 5
#队列 RabbitMQ 访问，使用访问实现只访问1台，当VIP在kxcontroller1上时，它的只访问kxcontroller1上的rabbitmq
listen rabbitmq_cluster_5672
bind 10.120.42.10:5672
mode tcp
balance roundrobin
server kxcontroller1 10.120.42.1:5672 check inter 2000 rise 2 fall 5
#镜像Glance API 访问，使用访问实现只访问1台，无论VIP在谁身上时，它只访问kxcontroller2上的Glance API ，kxcontroller1每天凌晨定时向controller2同步image文件，当kxcontroller2有故障时做手工冷备切换至controller1
listen glance_api_cluster_9292
bind 10.120.42.10:9292
balance source
option tcpka
option httpchk
option tcplog
# server kxcontroller1 10.120.42.1:9292 check inter 2000 rise 2 fall 5
server kxcontroller2 10.120.42.2:9292 check inter 2000 rise 2 fall 5
#镜像Glance 注册 访问，使用访问实现只访问1台，无论VIP在谁身上时 ，它只访问kxcontroller2上的 Glance 注册 ，kxcontroller1每天凌晨定时向controller2同步image文件，当kxcontroller2有故障时做手工冷备切换至controller1
listen glance_registry_cluster_9191
bind 10.120.42.10:9191
balance source
option tcpka
option tcplog
# server kxcontroller1 10.120.42.1:9191 check inter 2000 rise 2 fall 5
server kxcontroller2 10.120.42.2:9191 check inter 2000 rise 2 fall 5
#keystone 35357访问，使用访问实现只访问1台，当VIP在kxcontroller1上时，它只访问kxcontroller1上的 keystone 35357
listen keystone_admin_cluster_35357
bind 10.120.42.10:35357
balance source
option tcpka
option httpchk
option tcplog
server kxcontroller1 10.120.42.1:35357 check inter 2000 rise 2 fall 5
# server kxcontroller2 10.120.42.2:35357 check inter 2000 rise 2 fall 5
#keystone 5000访问，使用访问实现只访问1台，当VIP在kxcontroller1上时，它只访问kxcontroller1上的 keystone 5000
listen keystone_public_internal_cluster_5000
bind 10.120.42.10:5000
balance source
option tcpka
option httpchk
option tcplog
server kxcontroller1 10.120.42.1:5000 check inter 2000 rise 2 fall 5
# server kxcontroller2 10.120.42.2:5000 check inter 2000 rise 2 fall 5
#nova api访问，不考虑VIP在谁身上，这个服务可以负载均衡访问
listen nova_compute_api_cluster_8774
bind 10.120.42.10:8774
balance source
option tcpka
option httpchk
option tcplog
server kxcontroller1 10.120.42.1:8774 check inter 2000 rise 2 fall 5
server kxcontroller2 10.120.42.2:8774 check inter 2000 rise 2 fall 5
#nova 元数据 访问，不考虑VIP在谁身上，这个服务可以负载均衡访问
listen nova_metadata_api_cluster_8775
bind 10.120.42.10:8775
balance source
option tcpka
option tcplog
server kxcontroller1 10.120.42.1:8775 check inter 2000 rise 2 fall 5
server kxcontroller2 10.120.42.2:8775 check inter 2000 rise 2 fall 5
#cinder 块存储访问，虽然这里VIP开启，但后端服务我没开启，暂时挂在这里
listen cinder_api_cluster_8776
bind 10.120.42.10:8776
balance source
option tcpka
option httpchk
option tcplog
server kxcontroller1 10.120.42.1:8776 check inter 2000 rise 2 fall 5
server kxcontroller2 10.120.42.2:8776 check inter 2000 rise 2 fall 5
#ceilometer 访问，虽然这里VIP开启，但后端服务我没开启，暂时挂在这里
listen ceilometer_api_cluster_8777
bind 10.120.42.10:8777
balance source
option tcpka
option tcplog
server kxcontroller1 10.120.42.1:8777 check inter 2000 rise 2 fall 5
server kxcontroller2 10.120.42.2:8777 check inter 2000 rise 2 fall 5
#nova VNC访问，不考虑VIP在谁身上，这个后端 服务可以负载均衡访问
listen nova_vncproxy_cluster_6080
bind 10.120.42.10:6080
balance source
option tcpka
option tcplog
server kxcontroller1 10.120.42.1:6080 check inter 2000 rise 2 fall 5
server kxcontroller2 10.120.42.2:6080 check inter 2000 rise 2 fall 5
#neutron api访问，不考虑VIP在谁身上，这个后端服务可以负载均衡访问
listen neutron_api_cluster_9696
bind 10.120.42.10:9696
balance source
option tcpka
option httpchk
option tcplog
server kxcontroller1 10.120.42.1:9696 check inter 2000 rise 2 fall 5
server kxcontroller2 10.120.42.2:9696 check inter 2000 rise 2 fall 5
#swift 块存储访问，虽然这里VIP开启，但后端服务我没开启，暂时挂在这里
listen swift_proxy_cluster_8080
bind 10.120.42.10:8080
balance source
option tcplog
option tcpka
server kxcontroller1 10.120.42.1:8080 check inter 2000 rise 2 fall 5
server kxcontroller2 10.120.42.2:8080 check inter 2000 rise 2 fall 5
#展示普能用户可用于查询的页面http://10.120.42.10:8888/stats 用户和密码admin:admin
listen admin_stats
bind 0.0.0.0:8888
option httplog
#由于defaut没有声明，默认使用tcp,所以在里要额外配置mode http
mode http
stats refresh 30s
stats uri /stats
stats realm Haproxy Manager
stats auth admin:admin
#展示管理员 admin 页面可供修改页面http://10.120.42.10:8008/admin-venic 用户和密码venic:venic8888
listen stats_auth 0.0.0.0:8008
#由于defaut没有声明，默认使用tcp, 所以在listen里要额外配置 mode http
mode http
stats enable
stats uri /admin-venic
stats auth venic:venic8888
stats admin if TRUE
[root@kxcontroller2 ~]# vi /etc/haproxy/haproxy.cfg
#全局配置
global
chroot /home/haproxy/log
daemon
group haproxy
maxconn 20000
pidfile /home/haproxy/run/haproxy.pid
user haproxy
defaults
log global
maxconn 20000
option redispatch
retries 3
timeout http-request 10s
timeout queue 1m
timeout connect 10s
timeout client 1m
timeout server 1m
timeout check 10s
#dashboard界面，不考虑VIP在谁身上，这个服务可以负载均衡访问
listen dashboard_cluster_80
bind 10.120.42.10:80
balance source
option tcpka
option httpchk
option tcplog
server kxcontroller1 10.120.42.1:80 check inter 2000 rise 2 fall 5
server kxcontroller2 10.120.42.2:80 check inter 2000 rise 2 fall 5
#数据库集群访问，使用backup访问实现只访问kxcontroller1，而当1挂了的时候才去访问kxcontroller2
listen galera_cluster_3306
bind 10.120.42.10:3306
mode tcp
balance source
option tcpka
option httpchk
server kxcontroller1 10.120.42.1:3306 check port 9200 inter 2000 rise 2 fall 5
server kxcontroller2 10.120.42.2:3306 backup check port 9200 inter 2000 rise 2 fall 5
#队列 RabbitMQ 访问，使用访问实现只访问1台，当VIP在kxcontroller2上时，它只访问kxcontroller2上的rabbitmq
listen rabbitmq_cluster_5672
bind 10.120.42.10:5672
mode tcp
balance roundrobin
server kxcontroller1 10.120.42.1:5672 check inter 2000 rise 2 fall 5
#镜像Glance API 访问，使用访问实现只访问1台，无论VIP在谁身上时，它只访问kxcontroller2上的Glance API ，kxcontroller1每天凌晨定时向controller2同步image文件，当kxcontroller2有故障时做手工冷备切换至controller1
listen glance_api_cluster_9292
bind 10.120.42.10:9292
balance source
option tcpka
option httpchk
option tcplog
# server kxcontroller1 10.120.42.1:9292 check inter 2000 rise 2 fall 5
server kxcontroller2 10.120.42.2:9292 check inter 2000 rise 2 fall 5
#镜像Glance 注册 访问，使用访问实现只访问1台，无论VIP在谁身上时 ，它只访问kxcontroller2上的 Glance 注册 ，kxcontroller1每天凌晨定时向controller2同步image文件，当kxcontroller2有故障时做手工冷备切换至controller1
listen glance_registry_cluster_9191
bind 10.120.42.10:9191
balance source
option tcpka
option tcplog
# server kxcontroller1 10.120.42.1:9191 check inter 2000 rise 2 fall 5
server kxcontroller2 10.120.42.2:9191 check inter 2000 rise 2 fall 5
#keystone 35357访问，使用访问实现只访问1台，当VIP在kxcontroller2上时，它只访问kxcontroller2上的 keystone 35357
listen keystone_admin_cluster_35357
bind 10.120.42.10:35357
balance source
option tcpka
option httpchk
option tcplog
# server kxcontroller1 10.120.42.1:35357 check inter 2000 rise 2 fall 5
server kxcontroller2 10.120.42.2:35357 check inter 2000 rise 2 fall 5
#keystone 5000访问，使用访问实现只访问1台，当VIP在kxcontroller1上时，它只访问kxcontroller2上的 keystone 5000
listen keystone_public_internal_cluster_5000
bind 10.120.42.10:5000
balance source
option tcpka
option httpchk
option tcplog
# server kxcontroller1 10.120.42.1:5000 check inter 2000 rise 2 fall 5
server kxcontroller2 10.120.42.2:5000 check inter 2000 rise 2 fall 5
#nova api访问，不考虑VIP在谁身上，这个服务可以负载均衡访问
listen nova_compute_api_cluster_8774
bind 10.120.42.10:8774
balance source
option tcpka
option httpchk
option tcplog
server kxcontroller1 10.120.42.1:8774 check inter 2000 rise 2 fall 5
server kxcontroller2 10.120.42.2:8774 check inter 2000 rise 2 fall 5
#nova 元数据 访问，不考虑VIP在谁身上，这个服务可以负载均衡访问
listen nova_metadata_api_cluster_8775
bind 10.120.42.10:8775
balance source
option tcpka
option tcplog
server kxcontroller1 10.120.42.1:8775 check inter 2000 rise 2 fall 5
server kxcontroller2 10.120.42.2:8775 check inter 2000 rise 2 fall 5
#cinder 块存储访问，虽然这里VIP开启，但后端服务我没开启，暂时挂在这里
listen cinder_api_cluster_8776
bind 10.120.42.10:8776
balance source
option tcpka
option httpchk
option tcplog
server kxcontroller1 10.120.42.1:8776 check inter 2000 rise 2 fall 5
server kxcontroller2 10.120.42.2:8776 check inter 2000 rise 2 fall 5
#ceilometer 访问，虽然这里VIP开启，但后端服务我没开启，暂时挂在这里
listen ceilometer_api_cluster_8777
bind 10.120.42.10:8777
balance source
option tcpka
option tcplog
server kxcontroller1 10.120.42.1:8777 check inter 2000 rise 2 fall 5
server kxcontroller2 10.120.42.2:8777 check inter 2000 rise 2 fall 5
#nova VNC访问，不考虑VIP在谁身上，这个后端 服务可以负载均衡访问
listen nova_vncproxy_cluster_6080
bind 10.120.42.10:6080
balance source
option tcpka
option tcplog
server kxcontroller1 10.120.42.1:6080 check inter 2000 rise 2 fall 5
server kxcontroller2 10.120.42.2:6080 check inter 2000 rise 2 fall 5
#neutron api访问，不考虑VIP在谁身上，这个后端服务可以负载均衡访问
listen neutron_api_cluster_9696
bind 10.120.42.10:9696
balance source
option tcpka
option httpchk
option tcplog
server kxcontroller1 10.120.42.1:9696 check inter 2000 rise 2 fall 5
server kxcontroller2 10.120.42.2:9696 check inter 2000 rise 2 fall 5
#cinder 块存储访问，虽然这里VIP开启，但后端服务我没开启，暂时挂在这里
listen swift_proxy_cluster_8080
bind 10.120.42.10:8080
balance source
option tcplog
option tcpka
server kxcontroller1 10.120.42.1:8080 check inter 2000 rise 2 fall 5
server kxcontroller2 10.120.42.2:8080 check inter 2000 rise 2 fall 5
#展示普能用户可用于查询的页面http://10.120.42.10:8888/stats 用户和密码admin:admin
listen admin_stats
bind 0.0.0.0:8888
option httplog
#由于defaut没有声明，默认使用tcp,所以在里要额外配置mode http
mode http
stats refresh 30s
stats uri /stats
stats realm Haproxy Manager
stats auth admin:admin
#展示管理员 admin 页面可供修改页面http://10.120.42.10:8008/admin-venic 用户和密码venic:venic8888
listen stats_auth 0.0.0.0:8008
#由于defaut没有声明，默认使用tcp, 所以在listen里要额外配置 mode http
mode http
stats enable
stats uri /admin-venic
stats auth venic:venic8888
stats admin if TRUE
两个科兴的控制主备节点配置好后，
systemctl start haproxy.service
systemctl enable haproxy.service
测试监控页面是否生效，以判断haproxy是否正常工作
http://10.120.42.10:8888/stats
http://10.120.42.10:8008/admin-venic
启动时，没有获取到VIP备节点会发现haproxy服务启动不了。原因如下，
haproxy启动时提示失败：
[ALERT] 164/1100300 (11606) : Starting proxy linuxyw.com: cannot bind socket
修复前，在主备节点上执行 netstat -anp | grep haproxy，检测VIP的端口是否都在监听。
这个问题，其实就是因为你的haproxy没有得到VIP的原因，而你的配置文件又绑定了当前不存在VIP地址，所以会提示以上错误
当然，我们要确保的haproxy服务要提前先启动，不然等故障时，到去手动启动haproxy服务，就无法高可用了。
解决方法：
修改内核参数：
vi /etc/sysctl.conf
net.ipv4.ip_nonlocal_bind=1
保存结果，使内核参数生效
sysctl -p
再启动haproxy就可以启动了
openstack私有云布署实践【4.1 上层代理haproxy配置 (科兴环境)】的更多相关文章
- openstack私有云布署实践【2 安装前的服务器基本环境准备】
服务器物理机都安装centos7.2 1511版本 , 此次采用的分区方式全是自动XFS格式LVM,在装系统时就将所有本地raid5硬盘都加入LVM全用了.默认/home目录有着最大的硬盘空间 并且我 ...
- openstack私有云布署实践【12.2 网络Neutron-controller节点配置（办公网环境）】
网络这一块推荐使用的是 Neutron--LinuxBirdge的Ha高可用,此高可用方案对Public作用不是很大,Public只用到DHCP,而Private则会用到L3 Agent,则此方案是有 ...
- openstack私有云布署实践【12.1 网络Neutron-controller节点配置（科兴环境）】
网络这一块推荐使用的是 Neutron--LinuxBirdge的Ha高可用,此高可用方案对Public作用不是很大,Public只用到DHCP,而Private则会用到L3 Agent,则此方案是有 ...
- openstack私有云布署实践【0 前言】
管理控制层面示图: 其实在修改这个布署文档是,我发现当时生产中的布署已经严重偏离了openstack高可用的指导思想.我们自己实践的高可用其实是适应自己的架构而做的调整,因为我们现实手头上中没有比较符 ...
- openstack私有云布署实践【9.3 主从controller单向同步glance-image目录】
采用Rysnc单向同步,而不用双方实时同步,原因是在历史的运行过程中,我们发现,有些镜像包太大,当在主用的glance将镜像保存时,并不是一时半会就把镜像保存好,当主用在保存时,备用节点又在实时同步那 ...
- openstack私有云布署实践【9.2 Glance镜像管理（办公网环境）】
首先登录controller1创建glance数据库,并赋于远程和本地访问的权限. mysql -u root -p CREATE DATABASE glance; GRANT ALL ...
- openstack私有云布署实践【14.2 登录页dashboard-controller（办公网环境）】
这一小节基本配置相同,但留意以下紫色部份的配置,当初为了管理方便,我们让办公网openstack的dashboard的登录桥接了科兴的dashboard,由此统一dashboard界面的登录地址 ...
- openstack私有云布署实践【5 数据库MariaDB 集群】
kxcontroller1 kxcontroller2 controller1 这3台作角色 确保服务器的域名解析访问正常 确保NTP时间同步 配置HAproxy主备访问,其中的一项数据 ...
- openstack私有云布署实践【1 网络拓扑说明】
图1说明:办公网的openstack使用2台交换机,10.40.40.2是24口 10.40.40.6是48口,管理网段接10.40.40.2VLAN1002 虚拟机的public网段接 ...
随机推荐
- IDEA导入maven项目的步骤
其它的就不多说,直接开始咱们的步骤. 首先,你的装有IDEA,我的是IDEA15的,其次就是你的maven插件来,不过,这些基本的插件,IDEA里基本都给咱下载好了,你就可以直接配置maven.可以去 ...
- java访问权限的问题
java访问权限的问题 java 访问权限 修饰符 背景: 关于java中的四种访问修饰符,public ,default ,protected ,private的作用范围本以为很熟悉了,但碰到了这样 ...
- 简介alert()与console.log()的不同
简单的说alert 是弹出提示而console.log是在调试工具里打日志,下面具体给大家列出alert()与console.log()的不同点, [1]alert() [1.1]有阻塞作用,不点击确 ...
- 竞争激烈的洗衣O2O
今日,洗衣O2O干洗客宣布已获得千万美金Pre-A轮融资,投资方为新加坡某资本,具体信息尚不便透露. “干洗客”是36氪此前报道过的洗衣O2O服务商,2013年7月诞生于上海,2014年12月经历重组 ...
- （七）第一个python程序！
这是对我自己来说比较有仪式的一篇随笔记录,说了那么多,开始第一个pyhton小程序吧! 首先找一个版本比较新的Linux系统, 执行Python –V 查看一下你的Python版本: # python ...
- 使用vim配置方案spf13中碰到的一些问题
目的:达到我自己自定义安装插件的目的 安装YCM(YouCompleteMe)自动补全神器之前的准备 先安装编译环境: 1 2 sudo apt-get install build-essential ...
- MPICH3.2 单机编译、安装及测试
MPI,即信息传递接口(Message Passing Interface),是基于消息传递这种并行计算模型的一个并行程序设计标准,可以直接通过C/C++.Fortran调用,目前最主要的实现由MPI ...
- 【NOIP2013】DAY1题解+代码
T1 傻逼快速幂,敲敲就过了. 我跟你们讲个笑话当时我以为这个数据范围过不了于是想出了求GCD再推规律什么的magic方法中途还咨询了某个学长. 然后怎么想都是不可做. ……直到我发现我昨年的代码一个 ...
- win7、win8.1淡绿色护眼模式设置
Win7设置: 右击桌面 -> 个性化 -> 窗口颜色 -> 高级外观设置 选中 -> 项目:窗口 颜色:其他 修改:色调 饱和度 亮度 红 绿 蓝 添加到自定义 ...
- 【IE6的疯狂之五】div遮盖select的解决方案
IE6以及一下版本下,选择框Select会覆盖Div中的内容一般情况下,可以将显示的内容放到Iframe中,然后再显示框架内的内容.由于Iframe的可以显示在Select上层,就可以解决这个问题.不 ...