一、需求

我们使用Nginx做七层负载均衡,后端是Tomcat。项目采用灰度发布方式,每次项目升级,都要手动先从Nginx下摘掉一组,然后再升级这组,当项目快速迭代时,手动做这些操作显然会增加部署时间,于是就想通过脚本实现自动化管理Nginx配置文件。

当时考虑自己写Shell脚本对Nginx配置文件操作,需要用到sed流编辑器,sed本身没有条件判断语句,并不能灵活判断配置文件中要添加/删除位置,因此会增加配置错误风险。

在查资料无意间发现confd能自动管理配置文件,通过模板渲染生成配置文件,避免了配置错误风险,觉得挺好,就实验了下,于是就有了本章博文。

二、架构图

三、涉及软件

etcd:分布式KV存储系统,一般用于共享配置和服务注册与发现。是CoreOS公司发起的一个开源项目。 ETCD存储格式类似于文件系统,以根"/"开始下面一级级目录,最后一个是Key,一个key对应一个Value。

etcd集群:使用Raft协议保证每个节点数据一致,由多个节点对外提供服务。这里只用单台。

confd:管理本地应用配置文件,使用etcd或consul存储的数据渲染模板,还支持redis、zookeeper等。

confd有一个watch功能,通过HTTP API定期监测对应的etcd中目录变化,获取最新的Value,然后渲染模板,更新配置文件。

四、部署

环境说明:CentOS7,IP 192.168.1.99 # 为了试验服务都安装这台上。

4.1 下载软件包

https://github.com/coreos/etcd/releases/download/v3.1.4/etcd-v3.1.4-linux-amd64.tar.gz

https://github.com/kelseyhightower/confd/releases/download/v0.11.0/confd-0.11.0-linux-amd64

如果没翻墙可能下载不了,这个是我下载好的:http://pan.baidu.com/s/1c1M9kBm

4.2 安装Nginx并启动

# yum install -y gcc gcc-c++ make openssl-devel pcre-devel
# useradd nginx -s/sbin/nologin
# wget http://nginx.org/download/nginx-1.10.3.tar.gz
# tar zxvf nginx-1.10.3.tar.gz
# cd nginx-1.10.3
# ./configure--prefix=/usr/local/nginx --user=nginx --group=nginx --with-http_ssl_module--with-http_gzip_static_module --with-http_realip_module--with-http_stub_status_module
# make && make install
独立出来虚拟主机:
# mkdir /usr/local/nginx/conf/vhost
# vi /usr/local/nginx/conf/nginx.conf # 在http{}段中末尾添加包含虚拟主机配置文件
http {
includevhost/*.conf;
}
# /usr/local/nginx/sbin/nginx # 启动Nginx
 

4.3 安装etcd并启动

# tar zxvf etcd-v3.1.4-linux-amd64.tar.gz
# mv etcd etcdctl /usr/bin/ # etcd提供封装好的包,直接使用即可
# nohup etcd--data-dir /var/lib/data.etcd --listen-client-urls http://192.168.1.99:2379--advertise-client-urls http://192.168.1.99:2379 &>/var/log/etcd.log &
 

4.4 安装confd

confd也是一个封装好的包,直接使用即可。

# mv confd-0.11.0-linux-amd64 /usr/bin/confd
 

key规划:

key

value

/nginx/www/server_name

域名

/nginx/www/upstream/server01

节点01

/nginx/www/upstream/server02

节点02

/nginx/www/upstream/server03

节点03

创建配置目录

# mkdir -p /etc/confd/{conf.d,templates}
conf.d # 资源模板,下面文件必须以toml后缀
templates # 配置文件模板,下面文件必须以tmpl后缀
 

创建资源模板

# vi /etc/confd/conf.d/app01.conf.toml
[template]
src = "app01.conf.tmpl" # 默认在/etc/confd/templates目录下
dest = "/usr/local/nginx/conf/vhost/app01.conf" # 要更新的配置文件
keys = [
"/nginx", # 监测的key
]
reload_cmd ="/usr/local/nginx/sbin/nginx -s reload" # 最后执行的命令
 

创建Nginx配置文件模板

# vi /etc/confd/templates/app01.conf.tmpl
upstream www.{{getv "/nginx/www/server_name"}} {
{{range getvs "/nginx/www/upstream/*"}}
server ``.``;
`end`
} server {
server_name www.{{getv "/nginx/www/server_name"}};
location / {
proxy_pass http://www.{{getv "/nginx/www/server_name"}};
proxy_redirect off;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
}
}
 

博客地址:http://lizhenliang.blog.51cto.com

QQ群:323779636(Shell/Python运维开发群)

五、测试

使用etcdctl客户端操作etcd,常用的几个选项如下:

USAGE:
etcdctl [global options] command [command options] [arguments...]
COMMANDS:
ls retrieve a directory
get retrieve the value of a key
set set the value of a key
rm remove a key or a directory
GLOBAL OPTIONS:
--peers, -C a comma-delimited list of machine addresses in the cluster (default: "http://127.0.0.1:2379,http://127.0.0.1:2379")
 

5.1 向etcd添加k/v

# etcdctl -C http://192.168.1.99:2379 set domain.com
domain.com
# etcdctl -C http://192.168.1.99:2379 set /nginx/www/upstream/server01 "192.168.1.10:80"
192.168.1.10:80
# etcdctl -C http://192.168.1.99:2379 set /nginx/www/upstream/server02 "192.168.1.11:80"
192.168.1.11:80
 

5.2 启动confd监测etcd中的keys

当你启动后,confd就会从etcd获取key的值并填充到Nginx配置文件模板,并更新到/usr/local/nginx/conf/vhost/app01.conf,并nginx reload。

5.3 近一步测试

向etcd中/nginx/www/upstream/再添加一个节点:

OK!这样就实现了自动管理Nginx配置文件,无感知加入后端节点。

六、etcd Rest API使用

curl -X PUT http://192.168.1.99:2379/v2/keys/test/a_key -d value="789"  # 增改key
curl -X DELETE http://192.168.1.99:2379/v2/keys/test/a_key # 删除key
curl http://192.168.1.99:2379/v2/keys/test/a_key # 查询key的值
curl -X PUT http://192.168.1.99:2379/v2/keys/dir -d dir=true # 创建目录
curl http://192.168.1.99:2379/v2/keys # 查看所有keys
curl -X PUT http://192.168.1.99:2379/v2/keys/ttlvar -d value="ttl_value" -d ttl=10 # 创建过期时间的key,单位秒
curl http://192.168.1.99:2379/version # 查看etcd版本
curl http://192.168.1.99:2379/v2/members # 列出所有集群成员
curl http://192.168.1.99:2379/v2/stats/leader # 查看leader
curl http://192.168.1.99:2379/v2/stats/self # 节点自身信息
curl http://192.168.1.99:2379/v2/stats/store # 查看集群运行状态
 

七、总结

总体来说,etcd+confd要比自己写脚本管理Nginx配置文件更方便!当然,增加一套组件也会增加一点运维成本。

当初始化一台Web节点,可以增加一步操作去把自己信息注册到etcd,从而实现自动加入节点。

如果应用在生产环境,有些功能需要更加完善些,比如向etcd添加数据用Rest API或者用Python封装接口,confd写一个后台进程脚本运行等。

如果线上已经有redis或者zookeeper的话,那么就可以直接作为k/v存储信息,而不需要再搭建一套etcd集群!

由于keys的每次更新confd都会Nginx reload,在高并发访问量会有一点影响,比较好的解决方案就是写lua去动态加载Nginx参数。但应付中小规模还是可以的!

由此看来,confd不但局限管理Nginx配置文件,对于其他应用软件也是可以的,比如Haproxy,LVS等。

confd使用文档:

https://github.com/kelseyhightower/confd/blob/master/docs/quick-start-guide.md

资源模板其他参数:

https://github.com/kelseyhightower/confd/blob/master/docs/template-resources.md

Etcd+Confd实现Nginx配置文件自动管理的更多相关文章

  1. 【转载】Etcd+Confd实现Nginx配置文件自动管理

    原创作品,允许转载,转载时请务必以超链接形式标明文章 原始出处 .作者信息和本声明.否则将追究法律责任.http://lizhenliang.blog.51cto.com/7876557/191015 ...

  2. Docker+Jenkins持续集成环境(4):使用etcd+confd实现容器服务注册与发现

    前面我们已经通过jenkins+docker搭建了基本的持续集成环境,实现了服务的自动构建和部署,但是,我们遇到一个问题,jenkins构建出来的镜像部署后,需要通过ip:port去访问,有什么更好的 ...

  3. 使用etcd+confd管理nginx配置

    1.前言 最近在项目中用nginx做反向代理,需要动态生成nginx的配置.大概流程是用户在页面上新增域名.http或https协议以及端口信息,后台会根据域名自动生成一个nginx的server配置 ...

  4. 利用etcd及confd实现配置自动管理

    ETCD etcd 架设etcd集群 静态启动etcd集群需要每个成员在集群中知道另一个成员.在许多情况下,集群成员的IP可能提前未知.在这种情况下,可以使用etcd集群的自动发现服务.一旦etcd集 ...

  5. Linux centosVMware 自动化运维Ansible介绍、Ansible安装、远程执行命令、拷贝文件或者目录、远程执行脚本、管理任务计划、安装rpm包/管理服务、 playbook的使用、 playbook中的循环、 playbook中的条件判断、 playbook中的handlers、playbook实战-nginx安装、管理配置文件

    一.Ansible介绍 不需要安装客户端,通过sshd去通信 基于模块工作,模块可以由任何语言开发 不仅支持命令行使用模块,也支持编写yaml格式的playbook,易于编写和阅读 安装十分简单,ce ...

  6. Ansible 使用 Playbook 管理 Nginx 配置文件

    前面我们已经安装完 Nginx,但是在日常维护中经常需要修改配置文件,并重新加载配置文件,因此来写一个管理 Nginx 配置文件的 Playbook: [root@localhost ~]$ mkdi ...

  7. 15、基于consul+consul-template+registrator+nginx实现自动服务发现

    一.架构图 二.组件介绍 1.Registrator Registrator:一个由Go语言编写的,针对docker使用的,通过检查本机容器进程在线或者停止运行状态,去注册服务的工具.所以我们要做的实 ...

  8. 【转】【linux系统】nacos + confd配置nginx

    为什么要支持confd,老的应用配置管理模式是启动时读取配置文件,然后重新读取配置文件需要应用重启.一般的配置管理系统都是代码侵入性的,应用接入配置管理系统都需要使用对应的SDK来查询和监听数据的变更 ...

  9. supervisor开机自动启动脚本+redis+MySQL+tomcat+nginx进程自动重启配置

    [root@mongodb-host supervisord]# cat mongo.conf [program:mongo]command=/usr/local/mongodb/bin/mongod ...

随机推荐

  1. sed 简明教程 (转)

    sed 简明教程 2013年2月20日   awk于1977年出生,今年36岁本命年,sed比awk大2-3岁,awk就像林妹妹,sed就是宝玉哥哥了.所以 林妹妹跳了个Topless,他的哥哥sed ...

  2. 引导修复软件boot-repair

    因为经常需要安装双系统win10+ubuntu,平时按照先win10,在ubuntu的顺序,是非常顺利的,grub非常智能也非常友好的帮助你双启动这2个系统. 但是,难免会有意外,比如,win10有了 ...

  3. maven dependencies

    http://maven.apache.org/guides/getting-started/index.html https://maven.apache.org/guides/introducti ...

  4. EntLib 自动数据库连接字符串加密

    const string provider = "RsaProtectedConfigurationProvider"; Configuration config = null; ...

  5. android开发(49) Android 下拉刷新的实现。使用 SwipeRefreshLayout 代替 pull-to-refesh

    概述 谷歌官方推出了SwipeRefreshLayout 来实现下拉刷新的效果.对比以前我们常用的 pull-to-refesh ,这个方案显得更加的简单方便. 关联项目引用(管理依赖) 在你的 应用 ...

  6. 什么是位、字节、字、KB、MB (转)

    回顾一下按位操作符和移位操作符的知识,顺便复习一下位相关的基础知识. 位:"位(bit)"是电子计算机中最小的数据单位.每一位的状态只能是0或1. 字节:8个二进制位构成1个&qu ...

  7. ubuntu安装anaconda后,终端输入conda,出现未找到命令

    解决办法: 终端输入:vim  ~/.bashrc 键盘大写“G”,在最末端输入:export PATH=~/anaconda2/bin:$PATH 使其生效:source  ~/.bashrc 打印 ...

  8. Android Studio 编译错误

    同样的代码,在eclipse里面能编译通过,导入到Android Studio里面就报错. illegal character: \65279 终于找到答案: http://bbs.csdn.net/ ...

  9. 正整数序列Q中的每个元素都至少能被正整数a和b中的一个整除,现给定a和b,如何生成Q中的前几项

    思路分析:可以与归并排序联系起来,给定两个变量A.B,变量A轮着存放:a*1,a*2,a*3,……变量组B轮着存放:b*1,b*2,b*3,……有两个整数i.j,分别代表A.B第i.j次存放的值,每次 ...

  10. php实现多域名共享session会话

    php会话机制参考:我的随笔 缘起 网站,通常会有多个服务器,多个子域名,每个节点运行着不同模块.有时为了整体体验,用户用同一个用户名.密码浏览整站,不用重复登录.这时候就需要多服务器共享sessio ...