[转帖]比快更快的 ELK 8 安装使用指南-Elasticsearch，Kibana，Logstash

https://juejin.cn/post/7133907643386560519

携手创作，共同成长！这是我参与「掘金日新计划 · 8 月更文挑战」的第23天，点击查看活动详情

Elastic 8 的新特性

Elastic 8.0 版号称比快更快，其新特性可参考 Elastic 官方博客：

Elastic 8.0 版：在速度、扩展、高相关性和简单性方面开启了一个全新的时代

本篇文章就直接来安装一下 Elastic 8 版本来瞅瞅。

安装 Elastic 三剑客：Elasticsearch，Kibana，Logstash

本文安装 Elastic 版本：8.3.3。

通过安装包安装

安装 Elasticsearch

复制代码

cd /usr/local

# 下载安装包，文件大小有500多M

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-8.3.3-linux-x86_64.tar.gz

# 校验文件，后面校验的时候确保文件传输过程中没有被损坏

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-8.3.3-linux-x86_64.tar.gz.sha512

如果无法使用 wget 下载，可先下载到本地，然后上传到服务器。

下载地址：www.elastic.co/downloads/e…

下载完成后，使用如下方式安装：

复制代码

# 该步骤比较 tar.gz 安装包与发布的校验和，如果一直则输出 elasticsearch-8.3.3-linux-x86_64.tar.gz: OK

shasum -a 512 -c elasticsearch-8.3.3-linux-x86_64.tar.gz.sha512

# 解压

tar -xzf elasticsearch-8.3.3-linux-x86_64.tar.gz

解压之后的 elasticsearch-8.3.3 目录就是 ES 的家目录。

启动：

复制代码

# 进入 ES 家目录

cd elasticsearch-8.3.3

# 使用如下命令启动 ES

./bin/elasticsearch

这里有几个很明显的提示：

1. 有个告警：warning: ignoring JAVA_HOME=/usr/local/java; using bundled JDK ，Elasticsearch 安装包本身绑定使用的是 OpenJDK 。

Elasticsearch 使用 Java 构建，在每个发行版中都包含 OpenJDK 捆绑版本。 ES 推荐使用默认的 OpenJDK 的 JVM，该 JDK 位于$ES_HOME 的 jdk 目录中。

当然也可以改成使用自己的 Java 版本，设置一下 ES_JAVA_HOME 环境变量，指向自己的 JDK 即可。

建议还是使用 ES 默认的 JDK 进行构建，无需其他额外的配置。

2. can not run elasticsearch as root ：不能使用 root 用户来运行 ES。

创建一个 elastic 用户，使用该用户启动。

复制代码

# 为 Elasticsearch 添加用户

useradd elastic

# 设置用户密码

passwd elastic

(elA3T*c0)

# 设置 $ES_HOME 的拥有者为 elastic

chown -R elastic /usr/local/elasticsearch-8.3.3

切换到 elastic 用户启动：

复制代码

su elastic

cd elasticsearch-8.3.3

./bin/elasticsearch

启动过程中，打印出了一大堆东西：

这是关于几个密码安全设置的，先放这里后面有用。

控制台最后打印出了如下内容：

这其实是一个 Bug，详见 issue：github.com/elastic/ela…

我们可以通过配置文件设置不使用 GeoIpDownloader 。

另外，当我访问的时候：

连接不上，我们可以设置 conf/elasticsearch.yml 的 network.host 配置项解决访问问题。

修改配置项：

yaml

复制代码

# 修改 network.host

network.host: 0.0.0.0

# 添加如下配置项，禁用 GeoIpDownloader

ingest.geoip.downloader.enabled: false

然后再次启动：

果然该来的还是回来（之前安装 elasticsearch 7.10 就遇到过此问题），报错了：

复制代码

bootstrap check failure [1] of [3]: max file descriptors [4096] for elasticsearch process is too low, increase to at least [65535]

bootstrap check failure [2] of [3]: max number of threads [3795] for user [elastic] is too low, increase to at least [4096]

bootstrap check failure [3] of [3]: max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]

这几个问题我在这些Elasticsearch 7.10部署的问题，你遇到过吗这篇文章中也有提及，这里再补充一下解决方案。

解决 max file descriptors 和 max number of threads 不够的问题：

复制代码

# 在root用户下操作

vim /etc/security/limits.conf

# 修改最大进程数和最大线程数

# 在文件末尾添加

elastic hard nofile 65536

elastic soft nofile 65536

elastic hard nproc 4096

elastic soft nproc 4096

解决 max virtual memory areas vm.max_map_count 不够的问题：

复制代码

# 在root用户下操作

vi /etc/sysctl.conf

# 在文件末尾添加

vm.max_map_count = 655360

# 保存退出

# 使之生效

sysctl -p

然后再次使用 elastic 用户启动就可以了。

启动完成之后我们来访问一下：http://192.168.242.15:9200 ，竟然还是显示如下错误访问不了：

莫慌，我们再来浏览一下看一下 config/elasticsearch.yml 配置文件，看到这样一段配置：

yaml

复制代码

# Enable encryption for HTTP API client connections, such as Kibana, Logstash, and Agents

xpack.security.http.ssl:

  enabled: true

  keystore.path: certs/http.p12

可以看到，ES 8 默认开启了 SSL ，我们可以把 xpack.security.http.ssl.enabled 设置为 false，再启动后就可以访问了。

但这里我们不修改这个配置，直接使用 https 访问，也是可以的：

点“高级”，继续前往，选择信任就可以了，然后我们看到和之前的 ES 版本不同的是，这里需要输入密码：

还记得前面第一次启动 ES 的时候有一堆密码的提示吧，那其中就有 elastic 登录密码。不过我们已经重启过好几次了，也没有保存密码，怎么办呢？

我们进入到 $ES_HOME/bin 目录下找找看有没有特别的工具：

使用 elasticsearch-reset-password 可以修改密码，通常有两种方式：

1. 为 elastic 账号自动生成新的随机密码，输出至控制台

复制代码

./elasticsearch-reset-password -u elastic

2. 为 elastic 账号设置自定义密码

复制代码

./elasticsearch-reset-password -u elastic -i

OK，万事俱备了，现在再访问那个熟悉的 9200 ，输入用户名 elastic 和刚才自己设置的密码：

这样就成功的安装了 Elasticsearch 8.3.3 了。

安装 Kibana

下面来通过安装包安装 Elastic 三剑客之一的 Kibana 。

Kibana 版本选择和 Elasticsearch 的版本一致即可，官方提供了一致的版本。

在确定 ES 的版本后，Kibana 和 Logstash 以及其他的一些组件均可以和 ES 的版本一致，这一点真是太爽了，不用考虑太多版本 Elastic 各个组件之间的兼容问题。

下载地址：www.elastic.co/downloads/k…

和安装 ES 的步骤基本相同：

复制代码

# 下载安装包

wget https://artifacts.elastic.co/downloads/kibana/kibana-8.3.3-linux-x86_64.tar.gz

# 下载校验文件

wget https://artifacts.elastic.co/downloads/kibana/kibana-8.3.3-linux-x86_64.tar.gz.sha512

# 校验

shasum -a 512 -c kibana-8.3.3-linux-x86_64.tar.gz.sha512

# 解压

tar -xzf kibana-8.3.3-linux-x86_64.tar.gz

Kibana 安装包大小 257 M。

以上步骤完成之后，通过安装 ES 的经验，我们先来看一下 kibana 的配置文件 config/kibana.yml，修改其中的 server.host，使其能够外网访问：

yml

复制代码

server.host: "0.0.0.0"

启动：

shell

复制代码

[root@elk8 kibana-8.3.3]# ./bin/kibana

Kibana should not be run as root.  Use --allow-root to continue.

这个就和 ES 的套路一样了，提示不应该用 root 用户启动，当然 Kibana 可用通过 --allow-root 用 root 用户启动。

不使用 root 用户登录的话，可以新建一个 kibana 用户，并设置 kibana-8.3.3 目录的拥有者为 kibana。

再次启动：

复制代码

./bin/kibana --allow-root

提示 Kibana 还未配置，我们按照提示，访问 http://192.168.242.15:5601/?code=263850 ：

那么这个 token 从哪里来呢？

可以使用 ES 的 elasticsearch-create-enrollment-token 命令为 Elasticsearch 节点和 Kibana 实例创建注册令牌：

执行命令：

复制代码

./elasticsearch-create-enrollment-token

提示 -s 为必填项，这里我们是要将 kibana 加入，所以可以这样创建 token：

复制代码

# $ES_HOME/bin 目录下

./elasticsearch-create-enrollment-token -s kibana

复制生成的 token，填写：

然后就会自动配置：

配置完了以后，他竟然让我输入用户名密码：

输入在安装 ES 时设置的用户名密码，即可进入：

找到我们熟悉的 Dev Tools：

美滋滋啊有木有！

安装 Logstash

这个就简单了，直接下载安装包解压使用即可。

复制代码

# 下载

wget https://artifacts.elastic.co/downloads/logstash/logstash-8.3.3-linux-x86_64.tar.gz

# 解压

tar -zxvf logstash-8.3.3-linux-x86_64.tar.gz

不同的用途有不同的配置，如果我们使用 Elasticsearch + Logstash 进行日志采集，可以这样配置：

拷贝一份 $LOGSTASH_HOME/config/logstash-sample.conf 配置文件，命名为 logstash-app-search.conf ，修改其内容为：

ini

复制代码

input {

  tcp {

    # Logstash 作为服务

    mode => "server"

    host => "192.168.242.15"

    # 开放9001端口进行采集日志

    port => 9001

    # 编解码器

    codec => json_lines

  }

}

output {

  elasticsearch {

    # 配置ES的地址

    hosts => ["https://192.168.242.15:9200"]

    # 在ES里产生的index的名称

    index => "app-search-log-collection-%{+YYYY.MM.dd}"

    user => "elastic"

    password => "elastic"

  }

  stdout {

    codec => rubydebug

  }

}

启动 Logstash ：

复制代码

logstash -f $LOGSTASH_HOME/config/logstash-app-search.conf

# 后台启动

# nohup logstash -f $LOGSTASH_HOME/config/logstash-app-search.conf &

具体的使用方式可看我之前的这篇文章，

10分钟部署一个ELK日志采集系统

有 Spring Boot 中用 ELK 采集日志的说明。

以上，本次导航结束。

点个赞再走吧~