ELK+Logback进行业务日志分析查看

第1章 Elasticsearch安装部署

1.1 下载软件包并创建工作目录

程序下载地址：https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.5.0-linux-x86_64.tar.gz

下载时间过长，建议登录至服务器下载；

‘’’
# 下载官方新版本软件包
# 解压文件至指定目录并重命名
# 创建用户且将elasticsearch程序目录属主属组设置为elasticsearch用户
‘’’

# wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.5.0-linux-x86_64.tar.gz

# tar zxvf  elasticsearch-7.5.-linux-x86_64.tar.gz -C /mnt/elasticsearch

# useradd elasticsearch && chown -R elasticsearch:elasticsearch /mnt/elasticsearch 

1.2 安装Elasticsearch Head插件

如果不安装Head插件的话，查询索引及数据等操作不太方便，所以此处安装了Head插件

‘’’
.# 到官方下载最新版本的nodejs软件包(https://nodejs.org/en/download/)
.# 解压压缩包
.# 在/etc/profile文件中配置好环境变量
.# 执行验证
.# 下载head插件并修改配置文件
.# 安装服务启动命令
.# 启动命令验证
.# 安装相关程序
.# 后台启动head插件
.# 查看服务是否启动成功，端口是否存在
‘’’

1 # 下载过程省略。。

2 # tar zxvf  node-v11.10.0-linux-x64.tar.gz -C /usr/local/node-v11.10.0-linux-x64

3 # vim /etc/profile

export NODE_HOME=/usr/local/node-v11.10.0-linux-x64

　　 export NODE_PATH=$NODE_HOME/lib/node_modules

　　 export PATH=$NODE_HOME/bin:$PATH

　　 export PATH

4 # node -v

v11.10.0

5 # cd /mnt/elasticsearch && git clone https://github.com/mobz/elasticsearch-head.git

5 # vim /mnt/elasticsearch/elasticsearch-head/_site/app.js (找到下列行进行修改)

this.base_uri = this.config.base_uri || this.prefs.get("app-base_uri") || "http://ES_IP:PORT"

5 # vim /mnt/elasticsearch/elasticsearch-head/Gruntfile.js (找到下列行进行修改)

hostname: '0.0.0.0',

port: 9100,

base: '.',

keepalive: true

6 # npm install -g grunt

6 # npm install -g grunt-cli --registry=https://registry.npm.taobao.org --no-proxy

7 # grunt --version

grunt-cli v1.2.0

8 # npm install

9 # nohup grunt server &

10 # ss -nlt | grep 9100

1.3 Elasticsearch配置文件修改并启动

# vim /mnt/elasticsearch/config/elasticsearch.yml
   cluster.name: my-elasticsearch                         // 集群名称(单节点用不上,但集群的话另外的ES也要配置这个名称)
   node.name: node-                                　　　 // 节点名称
     path.data: /mnt/elasticsearch/data                   // 数据存放路径
     path.logs: /mnt/logs/elasticsearch                   // 日志存放路径
     bootstrap.memory_lock: true                          // 防止es内存被交换出去，避免es使用swap交换分区
     network.host: IP                                     // ES的主机IP地址
     http.port:                                 　　   // ES启动后监听的端口
     cluster.initial_master_nodes: ["node-1"]             // 候选主节点的设备地址，来开启服务时就可以被选为主节点
     gateway.recover_after_nodes:                        // 要等几个节点启动完成后，开始初始化数据恢复
     # 使head插件可以访问ES
http.cors.enabled: true
http.cors.allow-origin: "*"

#启动LRU法则,回收老数据
indices.fielddata.cache.size: %
#指定节点为master
node.master: true
# vim /mnt/elasticsearch/config/jvm.options                 // 调整ES可使用的内存大小
  -Xms512M
  -Xms512M

# vim /etc/sysctl.conf
  #Elasticsearch设置,在ES启动时,限制ES可以拥有的VMA(虚拟内存区域)的数量
vm.swappiness=
vm.max_map_count=
# sysctl -p                // 使配置生效
# cd /mnt/elasticsearch/bin
# ./elasticsearch        // 前台启动ES方便发现问题并调试
# nohup ./elasticsearch &   (这条命令可等控制台启动ES无报错后使用)

访问http://IP:9100(信息均为Head插件的信息)
# 因为我这边已经有了索引所以我的效果如下,默认应该是空的,但ES状态为Green正常(黄色也不影响,与分片相关)

第2章 Logstash安装部署

2.1 下载软件包并创建工作目录

程序下载地址：https://artifacts.elastic.co/downloads/logstash/logstash-7.5.0.tar.gz

下载时间过长，建议登录至服务器下载；

‘’’
   . # 从官方地址下载程序包
   . # 解压到指定目录且重命名
   . # 创建运行用户并且修改程序目录属主属组
‘’’
# wget https://artifacts.elastic.co/downloads/logstash/logstash-7.5.0.tar.gz
# tar zxvf  logstash-7.5..tar.gz -C /mnt/logstash
# useradd logstash && chown -R logstash:logstash /mnt/logstash 

2.2 修改配置文件并启动

# cd /mnt/logstash/config
# cp logstash-sample.conf logstash.conf
# vim logstash.conf
  input {
  tcp {
    host => "IP"                            // 本机IP地址
    port => ""                          // Logstash所监听端口号
    mode => "server"                        // 我们为服务端,让客户端发送日志
    codec => json_lines                     // 格式固定为json_lines,否则动态变量appname无法生效
  }
}

output {
  elasticsearch {
    hosts => "http://IP:9200"                // ES的IP+Port
    action => "index"                        // 行为是索引
    index => "%{[appname]}-%{+YYYY.MM.dd}"   // 索引名称为”服务名+日期”
  }
}

# vim jvm.options           // 限制logstash使用内存大小
  -Xms512m
  -Xms512m
# cd /mnt/logstash/bin
# ./logstash -f /mnt/logstash/config/logstash.conf
# nohub ./logstash -f /mnt/logstash/config/logstash.conf &    (后台启动logstash,如果担心有问题也可以先前台启动调试)

第3章  Logback服务配置

说明：我们的部署流程使用的是Jenkins+Gitlab+Ansible+Python来实现的,所以打包也是由Jenkins直接打包,服务较多,用的基本都是Spring boot框架,但日志方面使用的是Logback,所以以下配置使用的是Logback+Logstash这种方式;

3.1 修改服务配置并且重新编译

首先在Jenkins的工作空间中找到服务目录,临时修改各配置

# cd .jenkins/workspace/$service_name/
# vim pom.xml       // 新增下列行
        <dependency>
                <groupId>net.logstash.logback</groupId>
                <artifactId>logstash-logback-encoder</artifactId>
                <version>4.10</version>
        </dependency>
# vim src/main/resource/log/logback.xml      // logback相关配置文件,可咨询开发人员,增加以下配置文件
    
　　 <!-- logstash日志采集配置 -->
    <appender name="LOGSTASH" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
        <destination>IP:</destination>     // IP为Logstash服务器的地址
        <encoder charset="UTF-8" class="net.logstash.logback.encoder.LogstashEncoder">
            <customFields>{"appname": "test"}</customFields> // “test”为此服务名称,这是自定义的,服务名称是什么就写什么
        </encoder>
    </appender>

<root>                                          // 下面这一段默认存在,所以只用添加省略号之间的那句话即可
        <level value="${level}" />
 <!--<appender-ref ref="STDOUT" />-->
     ......
        <appender-ref ref="LOGSTASH" />
        ......
 </root>

# mvn clean package                       // 重新打一个服务jar包上测试环境替换

3.2 登录ES-Head插件验证

访问http://IP:9100,查看索引位置是否存在自己以服务名命名的索引,如果存在则可以进行下一步操作啦,如果没有的话可以调整一下logstash的配置文件

# vim logstash.conf
  input {
  tcp {
    host => "IP"                            // 本机IP地址
    port => ""                          // Logstash所监听端口号
    mode => "server"                     // 我们为服务端,让客户端发送日志
    codec => json_lines                    // 格式固定为json_lines,否则动态变量appname无法生效
  }
}

output {
  stdout {
     codec => json_lines
}
}

# cd /mnt/logstash/bin
# ./logstash -f /mnt/logstash/config/logstash.conf

# 然后在测试环境重启一下服务,查看一下logstash前台是否有日志收集过来,如果没有的话,查看logback配置的logstash的地址及端口与服务所在的服务器之间是否能够正常通讯;

第4章 Kibana安装配置及使用

4.1 下载软件包并创建工作目录

下载时间过长，建议登录至服务器下载；

‘’’
   . # 从官方地址下载程序包
   . # 解压到指定目录且重命名
   . # 创建运行用户并且修改程序目录属主属组
‘’’
# wget https://artifacts.elastic.co/downloads/kibana/kibana-7.5.0-linux-x86_64.tar.gz
# tar zxvf  kibana-7.5.-linux-x86_64.tar.gz -C /mnt/kibana
# useradd kibana && chown -R kibana:kibana /mnt/kibana

4.2 修改配置文件并启动

# cd /mnt/kibana/config
# vim kibana.yml
  server.port:                              // kibana监听的端口号
  server.host: "IP"                        　　  // kibana所在的服务器IP地址
  server.maxPayloadBytes:             　　// 最大请求负载(单位Byte)
  elasticsearch.hosts: ["http://IP:Port"]    　　// ES的网络地址
  kibana.index: ".kibana"                    　　// kibana默认创建的索引
  elasticsearch.requestTimeout:         　　// 请求连接ES的最大超时时间(单位 ms)
  pid.file: /mnt/kibana/kibana.pid          　　 // pid存放位置
  i18n.locale: "zh-CN"                    　　　　// 配置为中文界面
# cd /mnt/kibana/bin
# ./kibana                            　　　　// 前台启动方便发现问题
# nohub ./kibana &                        　　// 调试完成后可直接后台运行

4.3 验证是否启动成功

1.如果访问http://IP:5601出现如下界面的话,则说明Kibana启动成功

2. 创建索引模式用来匹配ES上的索引名称

3. 红框中填入你要匹配的规则,类似正则表达式;

4.默认以@timestamp作为筛选字段即可

5. 选中左边的第一个则代表查看匹配到的数据,第二个红框代表只看message这个字段的内容

至此，ES+Logstash+logback+Kibana就完成啦！