ELK Betas 6.0安装及使用

Betas 6.0安装及使用

注意： Elastic官网更新非常的快，每个版本的文档有会有不同，具体需要去官网查看最新文档进行配置调整。

Beats 平台集合了多种单一用途数据采集器。这些采集器安装后可用作轻量型代理，从成百上千或成千上万台机器向 Logstash 或 Elasticsearch 发送数据。

官网网址为：https://www.elastic.co/en/products/beats

Beats在6.0和和Logstash的主要分工的，Betas提供定制化的、轻量级的日志上报功能，并结合kibana自动生成图标功能，Logstash主要是分析自定义化的日志上报功能。

功能	说明
FileBeat	包含对Apache、Nginx、Mysql等日志的上报功能
MetricBeat	监控日志上报，结合kibana提供报表服务，如系统监控、apache、nginx连接状态、php-fpm、zookeeper、kafka等。
PacketBeat	监控应用程序的网络数据包情况，如Redis、ICMP、HTTP、DNS等
WinlogBeat	windows的事件日志，可上报到logstash、elasticsearch，并使用kibana图表化
AutidtBeat	系统的审计数据
HeartBeat	运行时间监控支持ICMP、TCP 和 HTTP 进行 ping 检测，也支持认证方式的检测

FileBeat架构图

我们实例安装一个metricBeat，并配置system监控模块，最后将图标发送到kibana平台上实时查看。

安装metricBeat安装包

官网下载地址为：https://www.elastic.co/downloads/beats/metricbeat

我目前在试用的最新版本为6.0版本，官网最新把ELK的版本号都进行了统一，现在对每个版本的软件之间的兼容性也有了非常清晰的说明。

我们试用rpm包方式安装，能自动创建init.d/并托管给系统service管理，方便我们后面的维护

# wget https://artifacts.elastic.co/downloads/beats/metricbeat/metricbeat-6.0.0-x86_64.rpm

# rpm -ivh metricbeat-6.0.0-x86_64.rpm

# chkconfig --add metricbeat

# chkconfig metricbeat on

# vim /etc/metribeat/metribeat.yml

可执行文件目录： /usr/share/metricbeat

日志目录： /var/log/metricbeat

配置文件目录：/etc/metricbeat/

配置metricbeat配置文件

编辑配置文件metribeat.yml，配置文件的格式yaml格式，主要配置两处，setup.kibana和output.elasticsearch，如果es安装了x-pack security插件，则需要配置username和password字段。

setup.kibana:

  # Kibana Host

  # Scheme and port can be left out and will be set to the default (http and 5601)

  # In case you specify and additional path, the scheme is required: http://localhost:5601/path

  # IPv6 addresses should always be defined as: https://[2001:db8::1]:5601

  host: "172.31.7.116:5601"

  username : "kibana"

  password : "xxx"

output.elasticsearch:

  # Array of hosts to connect to.

  hosts: ["172.31.7.116:9200", "172.31.0.155:9200"]

  # Optional protocol and basic auth credentials.

  protocol: "http"

  username: "elastic"

  password: "xxx"

当然metricbeat还支持nginx、apache、docker、kibana等很多模块，每个模块的配置文件在./modules.d/文件夹中，需要把扩展名重命名为.yml才会被加载。

配置system模块

# vim /etc/metricbeat/modules.d/system.yml

# mv /etc/metricbeat/modules.d/system.yml.idsabled /etc/metricbeat/modules.d/system.yml

- module: system

  period: 10s

  metricsets:

    - cpu

    - load

    - memory

    - network

    - process

    - process_summary

    - core

    - diskio

    - socket

  processes: ['.*']

  process.include_top_n:

    by_cpu: 5      # include top 5 processes by CPU

    by_memory: 5   # include top 5 processes by memory

- module: system

  period: 1m

  metricsets:

    - filesystem

    - fsstat

  processors:

  - drop_event.when.regexp:

      system.filesystem.mount_point: '^/(sys|cgroup|proc|dev|etc|host|lib)($|/)'

设置kibana仪表板

如果需要在kibana的仪表板显示，需要先新建metribeat-*索引，系统自带了命令可以自动创建，运行前需要确保kibana是否正常运行，如果是rpm安装执行以下命令即可，如果是绿色安装则要增加-c yml配置文件目录

# metricbeat setup --dashboards

启动metricbeat

# service metricbeat start

如果启动失败，可以查看/var/log/metricbeat/metricbeat日志文件错误信息，进行排查原因。

查看kibana仪表板

参考官方文档

其他模块配置参考 https://www.elastic.co/guide/en/beats/metricbeat/current/metricbeat-modules.html
导出字段参考 https://www.elastic.co/guide/en/beats/metricbeat/current/exported-fields.html

利用metricbeat可以将应用层的数据上报给监控平台，发现ELK最新版本的功能是越来越强大了，现在都涉及到监控这块了，虽然没有zibbix功能强大，但是配合使用还是不错的，kibana平台的图表功能也是越来越强大了，6.0明显的感觉是配置越来越简单，功能越来越强大。