爬虫日志监控 -- Elastc Stack（ELK）部署

傻瓜式部署，只需替换IP与用户

导读:

现ELK四大组件分别为：Elasticsearch（核心）、logstash（处理）、filebeat（采集）、kibana（可视化）

在elastic官网下载组件tar包，各组件版本最好一致，配合fdm会快一点点

注意：如若后续用到sentinl（开源监控警报插件，可webhook接钉钉等），ELK的组件版本应选择与sentinl版本一致，

sentinl版本比ELK组件更新慢

我的杯具：Plugin sentinl [7.6.1] is incompatible with Kibana [7.9.0]

环境

linux mint19

自带open jdk 11 （不能低于1.8 ）

配置

主目录创建itcast，然后分配权限，本机使用user0

chown -R user0:user0 /itcast

本机配置：解压包tar -xzvf /itcast/*.tar.gz /itcast/ 、修改以下配置文件

（注意：1、解压目录换成自己的版本，下略；2、缩进距离以默认文件为主）

elasticsearch相关：

/itcast/（elasticsearch解压目录）/config/elasticsearch.yml

# 集群名称，默认是elasticsearch

cluster.name: my-application

# 节点名称

node.name:node-1

# 配置IP端口

network.host:0.0.0.0

http.port: 9200

# 可以指定es的数据存储目录，默认存储在es_home/data目录下

# path.data: /path/to/data

# 可以指定es的日志存储目录，默认存储在es_home/logs目录下

# path.logs: /path/to/logs

# 子集群节点，用的上述节点设置的名称

discovery.seed_hosts:[node-1]

# ！！通过配置这个参数来防止集群脑裂现象 (集群总节点数量/2)+1

discovery.zen.minimum_master_nodes= ( master候选节点数量/2+1 )

# 处理跨域的相关参数

http.cors.enabled: true

http.cors.allow-origin: "*"

http.cors.allow-methods: OPTIONS, HEAD, GET, POST, PUT, DELETE

http.cors.allow-headers: "X-Reqested-With, Content-Type, Content-Length, X-User"

kibana相关：

/itcast/（kibana解压目录）/config/kibana.yml

server.port: 5601

server.host: "0.0.0.0"

elasticsearch.hosts: ["http://192.168.199.224:9200"]

kibana.index: ".kibana"

# 自定义安全参数

xpack.encryptedSavedObjects.encryptionKey:encryptedSavedObjects12345678909876543210123

xpack.security.encryptionKey: encryptionKeysecurity12345678909876543210123

xpack.reporting.encryptionKey: encryptionKeyreporting12345678909876543210123

elasticsearch.requestTimeout: 90000

i18n.locale: "zh-CN"

logstash相关：

/itcast/（logstash解压目录）/config/logstash-sample.conf

input {

  beats {

    port => 5044

  }

}

filter {

　# 重要功能，对日志处理均在此步，按需自行搜索

  mutate {

    split => {"message" => "|"}

  }

  mutate {

    add_field => {

      "Date" => "%{[message][0]}"

      # 坑点！！！新版本中%{}里字段如message需要加上中括号[]作为识别

      "Level" => "%{[message][1]}"

      "result" => "%{[message][2]}"

    }

  }

  mutate {

    convert => {

      "Date" => "string"

      "Leverl" => "string"

      "result" => "string"

    }

  }

}

output {

  elasticsearch {

    hosts => ["http://192.168.199.224:9200"]

    index => "logstash-%{+YYYY.MM.dd}"

  }

}

filebeat相关：（实际中 filebeat 部署在业务运行的主机上）

/itcast/（filebeat解压目录）/filebeat.yml

filebeat.inputs:

- type: log

  enabled: true

  paths:

    #目标文件，自行匹配

  - /var/log/*.log

  #- /itcast/elasticsearch/logs/*

  tags: ["spider"]

#不需要logstash处理可直接传ela本身

#output.elasticsearch:

#　　hosts: ["192.168.199.224:9200"]

out.logstash:

  hosts: ["192.168.199.224:5044"]

filebeat.config.modules:

  path: ${path.config}/modules.d/*.yml

  reload.enabled: false

setup.template.settings:

  index.number_of_shards: 1

setup.kibana:

  host: "192.168.199.224:5601"

其他

logstash插件sentinl安装（按需）

（kibana目录）/bin/kibana-plugin install file:~/sentinl-v7.6.1.zip  # zip包自行github下载

运行

用 ufw 开启有关端口：es、kibana、logstash （执行业务的 filebeat连到logstash端口）

sudo ufw allow 9200

sudo ufw allow 5601

sudo ufw allow 5044

sudo ufw enable

/etc/security/limits.conf 尾部加上字段

*                soft   nproc          65536

*                hard   nproc          65536

*                soft   nofile         65536

*                hard   nofile         65536

切换到用户，执行命令如下，

su - user0

ulimit -n

# 返回65536即设置成功，保持user0状态开启elasticsearch服务

/itcast/（elasticsearch解压目录）/bin/elasticsearch

运行另外的组件（实际 filebeat 在业务运行的主机上运行）

/itcast/（kibana解压目录）/bin/kibana

/itcast/（logstash解压目录）/bin/logstash -f ./config/logstash-sample.conf

/itcast/（filebeat解压目录）/filebeat -e -c filebeat.yml

测试

新建控制台，cd至 filebeat 监控日志目录，此处为 /var/log

执行以下命令数次

echo "2020-09-01 | DEBUG  | create a logmsg demo" >> demo.log

打开kibana（此处为192.168.199.224:5601）
菜单打开Stack Management（管理中心）
kibana索引模式创建索引（ logstash 的配置输出中 index => "logstash-%{+YYYY.MM.dd}" ），此处输入 logstash-* 即可
菜单打开 discover，创建新条目，选择上一步的索引，调整时间段即可返回相关数据
菜单打开日志，选择索引 logstash-* 亦可返回流式数据

kibana简易食用方法：

创建索引（视为数据源，操作的根本）
创建表格（ discover ）
创建可视化（Visualize 饼图，柱形图等……）
创建仪表盘（dashboard 把可视化组合起来）

持续更新，权当记录

logstash插件multiline，用于报错而产生的多行时能匹配成一条日志数据（默认多少行=多少条数据）

./bin/logstash-plugin install logstash-filter-multiline    # logstash安装插件

logstash-simple.conf中的filter里加入

multiline {

    pattern => "^\d{4}-\d{1,2}-\d{1,2}\s\d{1,2}:\d{1,2}:\d{1,2}"

    negate => true

    what => "previous"

  }

# multiline {

#      charset=>...          #可选                    字符编码

#      max_bytes=>...        #可选     bytes类型       设置最大的字节数

#      max_lines=>...        #可选     number类型      设置最大的行数,默认是500行

#      multiline_tag...      #可选     string类型      设置一个事件标签,默认是multiline

#      pattern=>...          #必选     string类型      设置匹配的正则表达式

#      patterns_dir=>...     #可选     array类型       可以设置多个正则表达式

#      negate=>...           #可选     boolean类型     默认false不显示，可设置ture

#      what=>...             #必选                    向前previous ， 向后 next

#

#  }