【7.1.1】ELK日志系统单体搭建

ELK是什么？

一般来说，为了提高服务可用性，服务器需要部署多个实例，每个实例都是负载均衡转发的后的，如果还用老办法登录服务器去tail -f xxx.log，有很大可能错误日志未出现在当前服务器中，还需要重复这个过程直到找到日志才能进行问题定位。两三台还好，成百上千个实例呢？人力有时穷。此时ELK闪亮登场了，那么ELK是什么？

ELK是全文本分布式日志搜索系统，包含Elasticsearch（索引库）/Logstash (过滤日志保存到索引库)/ Kibana (查看日志的前端工具)

本文内容说明

本文选用单体架构，多个组件都是单体形式进行部署，包含的组件有ELK（Elasticsearch、Logstash、Kibana）、Zookeeper、Kafka 还有一个基于Kafka Client的客户端（logback接口的实现），通过这些组件的整合完成单体日志系统的搭建，这里使用的是下载的tar.gz，而不是直接安装的，配置部分可参考

系统架构图如下

这里用Kafka做的缓冲层，防止日志写入量过大，logstash和elasticsearch两者写入速率跟不上导致的数据丢失

后续会给大家带来点docker-compose版的demo级的elk集群，敬请期待！

环境准备

Ubuntu Server 18.04.2 (可替换为Centos 7, 因为都是Systemd的)，请确保有足够的内存与硬盘空间
ELK 7.1.1
Kafka_2.12-2.2.0
Zookeeper使用Kafka自带的
生成日志的demo，代码见https://github.com/HellxZ/LogDemo

出现的问题汇总

问题汇总请参考ELK搭建过程中出现的问题与解决方法汇总，基本上我测试过程中的ELK问题均已解决

Kafka外网无法连接的问题请参考

搭建过程

以下的相对位置均为下载文件的目录，请注意。另文中使用了nohup方式后台，每次执行命令后使用ctrl +c 来结束不会影响进程，使用tail -f xxx.out查看日志

配置Elasticsearch

tar zxvf elasticsearch-7.1.1-linux-x86_64.tar.gz # 解压

mkdir single-elk # 创建目录改名移动

mv elasticsearch-7.1.1  single-elk/elasticsearch

cd single-elk/elasticsearch && vim config/elasticsearch.yml # 进入配置文件夹,修改es配置文件

# 要修改的内容有

# 1.放开node.name注释，节点名可DIY

node.name: node-1

# 2.放开network.host，修改ip为当前服务器ip或0.0.0.0，供外部访问

network.host: 0.0.0.0

# 3.放开cluster.initial_master_nodes，指定当前node.name名称即可

cluster.initial_master_nodes: ["node-1"] #与node.name保持一致

bootstrap.memory_lock: true #锁内存，防止内存占用过大，官方推荐使用系统内存的一半，但不要达到32GB

# 保存退出

ES_JAVA_OPTS="-Xms512m -Xmx512m" bin/elasticsearch -d # 后台启动es，默认绑定端口号9200和9300,接口访问9200测试，9300为es集群之间通信

当日志中提示
ERROR: [1] bootstrap checks failed

[1]: memory locking requested for elasticsearch process but memory is not locked
如果当前主机可以分配给Es的超过1G，可以不设置bootstrap.memory_lock: true，这里自然说的是测试环境；正式环境还是需要限制内存，如上方的-Xmx -Xms等，官方推荐是占用系统内存的50%，但不要超过32G。可以通过ES_JAVA_OPTS进行限制，如果仍未能解决问题，请参考https://www.cnblogs.com/hellxz/p/11009634.html

浏览器访问http://192.168.87.133:9200/ （自行替换ip）

可选用elasticsearch-head查看，github上最新版只到了5，个人维护版有6的，还是没有7，给官方提issue，官方人员表示暂时没有意愿升级，因为大体可用，除了每个ES的分片等信息匹配不到了。。。看他们兴趣缺缺的样子，就不使用插件安装到es中了，改用的google-chrome插件，如图

已经给官方提issue了，官方回应现在在github上最新代码已经改了，如有需要，可以使用npm启动，支持es7.x

配置Zookeeper与Kafka

tar -zxvf kafka_2.12-2.2.0.tgz

mv kafka_2.12-2.2.0 single-elk/kafka

cd single-elk/kafka; vim config/zookeeper.properties #修改下data-dir就可以了，保存退出

vim config/server.properties #修改kafka配置

#需要修改内容如下

listeners=PLAINTEXT://kafka:9092

advertised.listeners=PLAINTEXT://kafka:9092

#保存退出

#编辑/etc/hosts，在hosts文件中追加kafka映射,注意是内网ip需要替换

192.168.87.133 kafka  #其实写127.0.0.1也行 ==

nohup bin/zookeeper-server-start.sh config/zookeeper.properties > zookeeper.out & #启动zookeeper，出现绑定端口号即成功

nohup bin/kafka-server-start.sh config/server.properties > kafka.out & #启动kafka

#日志中出现started即成功

这里写kafka是因为外网访问的时候需要去用域名换ip，注册到zookeeper中的key包含了域名，所以本文中使用的是修改/etc/hosts的方式，我不知道其他人是怎么解决这个问题的，如果您有更好的方式，欢迎下方评论！

配置Logstash

tar zxvf logstash-7.1.1.tar.gz # 解压

mv logstash-7.1.1 single-elk/logstash

cd single-elk/logstash

vim config/logstash.conf # 创建配置文件，设置参数可参考logstash.sample.conf，详情见官网

使用自定义的配置文件需要在启动时指定。

# logstash.conf

# 本人配置的是使用kafka做了一层缓冲层，这个不用我多说了，请按需配置

input {

  kafka {

    bootstrap_servers => "192.168.87.133:9092"

    topics => ["all_logs"]

    group_id => "logstash"

    codec => json

  }

}

# 过滤器我没有配置，目前只是先看看效果

filter {

}

output {

  elasticsearch {

    hosts => ["192.168.87.133:9200"]

    index => "all-logs-%{+YYYY.MM.dd}"

    #user => "elastic"

    #password => "changeme"

  }

  stdout {

    codec => rubydebug

  }

}

保存退出

nohup bin/logstash -f config/logstash.conf > logstash.out & #后台启动Logstash

看到日志中出现Successfully started Logstash API endpoint {:port=>9600}，即启动成功

配置Kibana

# Kibana是基于node.js的前端项目，不过我测试服务器没装node.js也正常启动，看来ELK这些都自带了依赖环境

tar zxvf kibana-7.1.1-linux-x86_64.tar.gz

mv kibana-7.1.1-linux-x86_64 single-elk/kibana

cd single-elk/kibana && vim config/kibana.yml

#kibana.yml 以下配置均为解开注释，修改而成，使用搜索修改

# 指定kibana占用端口号,如无其它端口需要，可以不开启，默认5601

server.port: 5601

# 指定kibana绑定的ip地址，这里写kibana所在的ip即可

server.host: "192.168.87.133"

# es节点的ip地址

elasticsearch.hosts: ["http://192.168.87.133:9200"]

# kibana.index是kibana在es中创建的索引，会保存搜索记录，无需改变

kibana.index: ".kibana"

# 设置查询es超时时间，单位为milliseconds必须为整数

elasticsearch.requestTimeout: 30000

# 其余按需配置

# 中文化

i18n.locale: "zh-CN"

#保存退出

nohup bin/kibana > kibana.out & # 后台启动kibana

出现Server running at http://192.168.87.133:5601"类似字样，启动完成，访问看看

配置测试代码

使用代码的环境需要设置hosts文件，映射到kafka为刚才的ip，我的是192.168.87.133 kafka

项目是springboot的直接启动DemoApplication就好，还可以通过访问TestController中的方法来生产日志。

Connection to node -1 could not be established. Broker may not be available.出现这个问题请参考【Kafka问题解决】Connection to xxx could not be established. Broker may not be available.检查配置文件。

如需修改kafka的映射名称，记得修改logback-spring.xml中的<producerConfig>bootstrap.servers=your-kafka-domain:kafka-port</producerConfig>

查看效果

使用Elasticsearch-head

进入google-chrome的Elasticsearch-head插件，连接项目我们可以简单看到多出了几个绿色的0

当然了，由于这个插件官方没有对Elasticsearch 7.X进行优化支持，显示的图并不准确，好在我们可以看到索引和数据浏览

我的虚拟机没内存了。。所以集群状态变成yellow了，仅为只读状态，大家可以通过在配置文件中限制es的内存，默认是1G的。官方建议设置内存为系统内存的一半，但不要超过32GB，且最大内存与最小内存最好相等防止经常GC，参考自config/elasticsearch.yml

启动es的时候就需要指定内存参数, 如ES_JAVA_OPTS="-Xms512m -Xmx512m" bin/elasticsearch -d

使用kibana

此时我已经修复了内存不够的问题，配置文件也在上边更新了，大家可以放心测试

访问<你的kibana-ip:5601> 我的是<192.168.87.133:5061>

Kibana默认是不会给我们添加展示的索引的，需要我们去匹配，这里我们去添加

下一步，选择@timestamp或者其它，我这里选择@timestamp，然后创建索引模式即可

索引创建完成，我们去仪表盘查看下，点这个Discover

结束

最近在做ELK日志系统这块，还做了个demo级的docker-compose的ELK集群，因为生产环境我们是不会将多个es和多个kafka放在同一台机器上的。稍后我会整理下发上来，供大家借鉴。