docker stack 部署 filebeat
===============================================
2018/7/21_第3次修改 ccb_warlock
更新说明:
2018/7/21:增加官方镜像库的文字描述;
2018/6/26:调整filebeat的底层镜像位ubuntu;
更新filebeat的版本到6.3.0;
增加底层不使用alpine的理由描述;
===============================================
filebeat作为轻量化的日志传输工具非常适合部署在服务端将日志传输回来后经过ELK进行分析统计,故本篇整理stack中部署redis容器服务的方式。
PS.官方目前也提供了镜像库(https://www.docker.elastic.co/),虽然官方说明底层是用centos,但是打包出来的镜像不仅容量大,而且目录的灵活性没有自己构建要强,故我还是建议自己来构建镜像。
一、前提条件
- 环境中已经部署了docker swarm(http://www.cnblogs.com/straycats/p/8978135.html)
- 最好也部署了portainer(http://www.cnblogs.com/straycats/p/8978201.html)
- 本次例子演示的filebeat如何抓取kong的日志发送给logstash
- 本次试验用的logstash部署的IP为192.168.12.12:5044
二、生成filebeat镜像
由于我部署的时候没有找到官方的filebeat镜像,故只能先自己构建镜像包。
2.1 获取filebeat包
# 创建目录
mkdir -p /root/filebeat
接着从官网(https://www.elastic.co/cn/downloads/beats/filebeat)获取tar.gz包(当时最新的包为filebeat-6.3.0-linux-x86_64.tar.gz),并将tar.gz包上传到/root/filebeat目录下。
2.2 创建dockerfile、docker-entrypoint.sh
# 编辑dockerfile
vi /root/filebeat/dockerfile
# 增加下面的内容到dockerfile文件中,wq保存。
# base image
FROM ubuntu:18.04 # Install Filebeat
WORKDIR /usr/local
COPY filebeat-6.3.0-linux-x86_64.tar.gz /usr/local
RUN cd /usr/local && \
tar xvf filebeat-6.3.0-linux-x86_64.tar.gz && \
rm -f filebeat-6.3.0-linux-x86_64.tar.gz && \
ln -s /usr/local/filebeat-6.3.0-linux-x86_64 /usr/local/filebeat && \
chmod +x /usr/local/filebeat/filebeat && \
mkdir -p /etc/filebeat && \
mkdir -p /var/log/filebeat-target
ADD ./docker-entrypoint.sh /usr/bin/
RUN chmod +x /usr/bin/docker-entrypoint.sh
ENTRYPOINT ["docker-entrypoint.sh"]
CMD ["/usr/local/filebeat/filebeat","-e","-c","/etc/filebeat/filebeat.yml"]
PS.这里选择ubuntu的原因是其作为底层打包出来的镜像比centos要小很多。
我曾经尝试使用alpine:3.7作为底层,但是构建后的镜像运行时报“standard_init_linux.go:190: exec user process caused "no such file or directory"”,故最后还是选择ubuntu。
# 编辑docker-entrypoint.sh
vi /root/filebeat/docker-entrypoint.sh
# 增加下面的内容到docker-entrypoint.sh文件内,wq保存。
#!/bin/bash
set -e
TMP=${PATHS}
config=/etc/filebeat/filebeat.yml
if [ ${TMP:0:1} = '/' ] ;then
tmp='"'${PATHS}'"'
fi env
echo 'Filebeat init process done. Ready for start up.'
echo "Using the following configuration:"
cat /etc/filebeat/filebeat.yml
exec "$@"
2.3 构建filebeat容器
cd /root/filebeat/
docker build --rm -t filebeat:6.3.0 .
三、部署filebeat
3.1 创建映射的本地目录
mkdir -p /usr/docker-vol/filebeat/conf
3.2 添加配置文件filebeat.yml
vi /usr/docker-vol/filebeat/conf/filebeat.yml
# 添加下面的内容到filebeat.yml文件中,wq保存。
filebeat.prospectors:
- type: log
paths:
- /var/log/filebeat-target/access.log output.logstash:
# ELK - Logstash hosts
hosts: ["192.168.12.12:5044"]
3.3 配置filebeat-stack.yml
cd
vi filebeat-stack.yml
# 添加下面的内容到filebeat-stack.yml文件内 ,wq保存。
version: '3'
services: filebeat:
image: filebeat:6.3.0
environment:
- TZ=Asia/Shanghai
volumes:
# filebeat 的配置文件
- /usr/docker-vol/filebeat/conf/filebeat.yml:/etc/filebeat/filebeat.yml
# 将kongy获取的日志映射到filebeat-target目录下
- /usr/docker-vol/kong/kongy-log:/var/log/filebeat-target
deploy:
replicas: 1
restart_policy:
condition: on-failure
networks:
- net01 networks:
net01:
external: true
3.4 创建服务栈
1)命令方式
cd
docker stack deploy -c filebeat-stack.yml filebeat-stack
2)portainer界面方式(推荐)
登录portainer(如果是根据上面的教程部署的portainer,浏览器访问http://宿主机IP:9000,在stack中增加rabbitmq-stack.yml文件中的内容)
参考资料:
1.http://blog.51cto.com/ylw6006/2107307?app
2.http://blog.51cto.com/linyingyong/2083825
docker stack 部署 filebeat的更多相关文章
- docker stack 部署容器监控方案(cAdvisor、Prometheus、Grafana)
=============================================== 2018/7/8_第1次修改 ccb_warlock === ...
- docker stack 部署 mysql 5.6
=============================================== 2018/7/1_第1次修改 ccb_warlock === ...
- docker stack 部署 redis
=============================================== 2019/4/16_第2次修改 ccb_warlock 更新 ...
- docker stack 部署 seafile(http)
=============================================== 2018/5/13_第1次修改 ccb_warlock == ...
- docker stack 部署 rabbitmq 容器
=============================================== 2018/5/13_第1次修改 ccb_warlock == ...
- docker stack 部署 mssql
=============================================== 2019/12/8_第1次修改 ccb_warlock == ...
- docker stack 部署nginx
=============================================== 2018/7/29_第1次修改 ccb_warlock == ...
- Docker 的部署方式
在使用 docker run 命令启动 Docker 容器时,如果需要进行端口映射.目录挂载.网络信息等配置,整条命令将变得非常长,并且由于是一条 shell 命令,修改和复用也不方便.我们在大规模部 ...
- 容器基础(八): 使用docker swarm部署程序
环境 基于上一节的env/server:v0.1, env/worker:v0.1镜像, 在基于debian8.2的两台机器上测试部署docker swarm. docker service部署 ➜ ...
随机推荐
- FFT常数优化(共轭优化)
最近闲着无聊研究了下\(FFT\)的常数优化,大概就是各种\(3\)次变\(2or1.5\)次之类的,不过没见过啥题卡这个的吧. 关于\(FFT\)可以看这里:浅谈FFT&NTT. 关于复数 ...
- SDOI2017硬币游戏
题面链接 洛咕 sol 神题,幸好我不是SD的QAQ. 假设你们都会\(O(n^3m^3)\)的高斯消元,具体来说就是建出\(Trie\)图然后套游走的板子. 然后我们发现可以把不能匹配任何串的概率压 ...
- AtCoder Grand Contest 002
AtCoder Grand Contest 002 A - Range Product 翻译 告诉你\(a,b\),求\(\prod_{i=a}^b i\)是正数还是负数还是零. 题解 什么鬼玩意. ...
- 【科技】扩展Lucas随想
扩展Lucas解决的还是一个很Simple的问题: 求:$C_{n}^{m} \; mod \; p$. 其中$n,m$都会比较大,而$p$不是很大,而且不一定是质数. 扩展Lucas可以说和Luca ...
- 洛谷 P1357 花园 解题报告
P1357 花园 题目描述 小\(L\)有一座环形花园,沿花园的顺时针方向,他把各个花圃编号为\(1~N(2<=N<=10^{15})\).他的环形花园每天都会换一个新花样,但他的花园都不 ...
- 洛谷 P3698 [CQOI2017]小Q的棋盘 解题报告
P3698 [CQOI2017]小Q的棋盘 题目描述 小 Q 正在设计一种棋类游戏. 在小 Q 设计的游戏中,棋子可以放在棋盘上的格点中.某些格点之间有连线,棋子只能在有连线的格点之间移动.整个棋盘上 ...
- 4.tar的各个参数详解
转于:https://blog.csdn.net/liuyundemhsg/article/details/52525028 参数:-c :建立一个压缩文件的参数指令(create 的意思):-x : ...
- svnsync备份
参考:https://www.cnblogs.com/zz0412/p/svnsync.html https://blog.csdn.net/windone0109/article/details/4 ...
- Consul 服务发现与配置
Consule 是什么 Consul包含多个组件,但是作为一个整体,为你的基础设施提供服务发现和服务配置的工具.他提供以下关键特性: 服务发现 Consul 的客户端可用提供一个服务,比如 api 或 ...
- java基础-引用数据类型之二维数组(Array)
java基础-引用数据类型之二维数组(Array) 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 之前我们学习过了Java的一维数组,所谓的二维数组就是元素是一堆一维数组的数组,换 ...