ELK 日志系统入门及通过 Docker 部署

1. ELK 系统是什么

ELK 是一套日志中心解决方案，其三个字母分别表示：

• Elasticsearch：负责日志存储及检索
• Logstash：负责日志收集、过滤及格式化
• Kibana：数据看板，负责日志展示及数据可视化

Elasticsearch 是自带搜索引擎的数据库。

2. ELK 系统常见用途

1. 网络监控

可以用来监控网络设备。

2. 应用监控

实时监控业务：如访问量、终端类型

分析业务：可以调取日志分析平均每秒请求数、峰谷请求数、API 请求数等，用于系统扩容的参考。

3. 特殊用途

分析用户画像。

3. Docker 容器化应用日志中心

除了应用镜像外，ELK 对应的镜像分别是 logstash、elasticsearch、kibana 三个。

1. 开启 Docker 宿主机的 rsyslog 服务

编辑服务的配置文件：

vi /etc/rsyslog.conf

开启下面的三个参数，让 rsyslog 加载 imtcp 模块并监听 514 端口，然后将 rsyslog 收集到的数据转发到 4560 端口：

$ModLoad imtcp
$InputTcpServerRun 514
*.* @@localhost:4560

重启 rsyslog 服务，并查看 514 端口是否监听成功：

systemctl restart rsyslog
netstat -ntpl

2. 部署 ELK

部署 ElasticSearch 服务

docker run -d -p 9200:9200 -v \
 ~/elasticsearch/data:/usr/share/elasticsearch/data \
 --name elasticsearch elasticsearch

部署完成后可以访问宿主机的 9200 端口验证服务是否部署成功。成功时会输出 JSON 格式的版本信息。

部署 Logstash 服务

在 ~/logstash/ 目录下创建 logstash.conf 配置文件，将 Logstash 服务配置为从本地的 rsyslog 服务获取应用日志数据，然后转发到 Elasticsearch 数据库。配置文件内容如下：

input {
  syslog {
    type => "rsyslog"
    prot => 4560
  }
}
output {
  elasticsearch {
    hosts => [ "elasticsearch:9200" ]
  }
}

启动 Logstash 容器：

docker run -d -p 4560:4560 \
  -v ~/logstash/logstash.conf:/etc/logstash.conf \
  --link elasticsearch:elasticsearch \
  --name logstash logstash \
  logstash -f /etc/logstash.conf

部署 Kibana 服务

docker run -d -p 5601:5601 \
  --link elasticsearch:elasticsearch \
  -e ELASTICSEARCH_URL=http://elasticsearch:9200 \
  --name kibana kibana

启动应用程序产生日志

注意，启动应用程序的容器时，需要设置将日志转发到 syslog 服务中。

docker run -d -p 80:80 \
  --log-driver syslog \
  --log-opt syslog-address=tcp://localhost:514 \
  --log-opt tag="nginx" \
  --name nginx
  nginx

3. 测试

产生应用日志

打开浏览器，并多次访问 localhost:80 来让应用程序生产日志。

打开 Kibana 可视化界面

在 localhost:5601 页面中，查看日志信息。可以在查询框中输入 program=nginx 查询特定日志。