（1）ElasticSearch搭配Kibana在linux环境的部署

1.简介

这个章节主要介绍ElasticSearch+Kibana两个组件在linux环境的部署步骤，以及在部署过程中遇到问题解决，暂就不涉及集群部署知识点，后面章节再详细讲解这块。下面让我们来简单了解下Elasticsearch与Kibana。

1.1Elasticsearch简介

Elasticsearch是一个基于Lucene的搜索服务器，也是一个是一个分布式、高扩展、高实时的搜索与数据分析引擎。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java语言开发的，并作为Apache许可条款下的开放源码发布，是一种流行的企业级搜索引擎。官方客户端在Java、.NET（C#）、PHP、Python、Apache Groovy、Ruby和许多其他语言中都是可用的。
它能很方便的使大量数据具有搜索、分析和探索的能力。充分利用Elasticsearch的水平伸缩性，能使数据在生产环境变得更有价值。Elasticsearch的实现原理主要分为以下几个步骤，首先用户将数据提交到Elasticsearch 数据库中，再通过分词控制器去将对应的语句分词，将其权重和分词结果一并存入数据，当用户搜索数据时候，再根据权重将结果排名，打分，再将返回结果呈现给用户。
Elasticsearch+Logstash（数据收集日志解析引擎）+Kibana（分析和可视化平台）这三个产品被设计成一个集成解决方案，称为“Elastic Stack”（以前称为“ELK stack”）。
Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索，具有接近实时的搜索，并支持多租户。Elasticsearch是分布式的，这意味着索引可以被分成分片，每个分片可以有零个或多个副本。每个节点托管一个或多个分片，并充当协调器将操作委托给正确的分片。再平衡和路由是自动完成的。相关数据通常存储在同一个索引中，该索引由一个或多个主分片和零个或多个复制分片组成。一旦创建了索引，就不能更改主分片的数量。

1.2Kibana简介

Kibana是一个针对Elasticsearch而设计的开源分析及可视化平台，用来搜索、查看交互存储在Elasticsearch索引中的数据。使用Kibana，可以通过各种图表进行高级数据分析及展示。
Kibana让海量数据更容易理解。它操作简单，基于浏览器的用户界面可以快速创建仪表板（dashboard）实时显示Elasticsearch查询动态。

2.前期准备

2.1下载elasticsearch组件

到官网下载页https://www.elastic.co/cn/downloads/elasticsearch下载linux最新版本elasticsearch-7.8.0，如图所示：

2.2下载kibana组件

到官网下载页https://www.elastic.co/cn/downloads/kibana下载linux最新版本kibana-7.8.0，如图所示：

2.3下载并安装Xshell 6+Xftp 6

Xshell+Xftp下载安装使用，这里我就不多说了，度娘大把资料可以供大伙参考。下面简要解释下Xshell+Xftp用途：
Xshell是一个功能强大的安全终端模拟软件，它支持SSH1, SSH2, 以及Microsoft Windows平台的TELNET协议。Xshell可以在Windows界面下用来访问远端不同系统下的服务器，从而达到远程控制终端的目的。所以下面我都会使用Xshell在linux上编写脚本命令。
Xftp是一个功能强大的sftp、ftp文件传输软件。使用了Xftp以后，ms windows用户能安全地在unix/linux和windows pc之间传输文件。所以下面我都用Xftp做在linux和windows pc之间传输文件。

3.Elasticsearch部署

3.1创建安装包、Elasticsearch、kibana文件夹

在用户目录下创建安装包、Elasticsearch、kibana这三个文件夹的目的是为了方便管理，默认目录是/home/deng，创建文件夹命令如下：

//安装包文件夹
mkdir /home/deng/installpackage
//elasticsearch文件夹
mkdir /home/deng/elasticsearch
//kibana文件夹
mkdir /home/deng/kibana

执行完所有命令后，通过Xftp，我们会看到/home/deng目录下创建三个对应文件夹：

如果想删除文件夹，具体命令如下：

//删除文件夹
rm -rf /home/deng/installpackage

如果创建文件夹没操作权限，可以通过如下命令进行授权：

//修改文件权限
chmod -R 775 installpackage

再通过Xftp把之前下载好的elasticsearch-7.8.0-linux-x86_64.tar.gz、kibana-7.8.0-linux-x86_64.tar.gz安装包传输到installpackage中：

3.2解压Elasticsearch安装包

先切换到elasticsearch文件夹目录：

//切换elasticsearch文件夹
cd /home/deng/elasticsearch

把elasticsearch安装包解压到elasticsearch目录当中：

//解压elasticsearch安装包
tar -zxvf /home/deng/installpackage/elasticsearch-7.8.0-linux-x86_64.tar.gz

3.3修改elasticsearch配置指定ES服务主机

先切换到elasticsearch文件夹config目录：

//切换elasticsearch/config文件夹
cd /home/deng/elasticsearch/elasticsearch-7.8.0/config

使用vi文本编辑器修改elasticsearch.yml配置文件：

//vi文本编辑器打开elasticsearch.yml配置文件
vi elasticsearch.yml

输入修改命令：

//i修改
i

找到文件中这两项配置，把前面的#符号删除开放出来并修改为如下内容：

network.host: 192.168.112.xxx
http.port: 9200

修改完这两项配置之后，因为7.0以后版本还需要修改如下两个配置才能启动，所以找到这两项进行修改，如果bootstrap.system_call_filter属性没有就新增一行：

bootstrap.memory_lock: false
bootstrap.system_call_filter: false

把上面四项配置修改后点击Esc按钮退出编辑，输入命令保存退出：

//保存退出
:wq

3.4启动Elasticsearch服务

注意：ES启动有可能会多次报错，需要我们根据错误信息重新修改下相关配置文件。

3.4.1切换到bin目录启动Elasticsearch服务

//进入bin目录
cd /home/deng/elasticsearch/elasticsearch-7.8.0/bin
//启动Elasticsearch服务或者后台启动模式
./elasticsearch
or
./elasticsearch -d

当我们启动Elasticsearch服务时候，可能会遇到如下错误提示。

3.4.2root用户不能启动Elasticsearch服务

//无法以root用户身份运行elasticsearch服务。
org.elasticsearch.bootstrap.StartupException: java.lang.RuntimeException: can not run elasticsearch as root

根据上述错误提示，我们要创建一个用户进行启动Elasticsearch服务。而因为我安装linux版本CentOS 7时候已经新建一个用户deng，所以下面演示我就该用户进行部署操作，如果你们在安装过程中没有新建，就使用以下命令新建一个用户再启动Elasticsearch服务：

//useradd 建立用户账号（默认在/home目录下）
useradd deng
//passwd设定账号的密码
passwd 123456

3.4.3虚拟内存过低

//最大虚拟内存区域vm.max_map_count [65530]太低，至少增加到[262144]
max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]

根据上述错误提示，我们需要修改下sysctl.conf系统配置文件，但是如果当前用户没有root修改系统文件权限，那么就得先su root用户再进行如下操作：

vi /etc/sysctl.conf

输入修改命令i，在空白处添加一行文本：

vm.max_map_count=262144

输入:wq保存退出后，再通过su deng切换回来，然后启动Elasticsearch服务。

3.4.4elasticsearch进程的最大文件描述符太低与管理员最大线程数太低

//elasticsearch进程的最大文件描述符[4096]太低，请至少增加到[65535]
max file descriptors [4096] for elasticsearch process is too low, increase to at least [65535]
//用户[admin]的最大线程数[3818]太低，请至少增加到[4096]
max number of threads [3818] for user [admin] is too low, increase to at least [4096]

根据上述错误提示，还是跟之前操作一样，如果当前用户没有root修改系统文件权限，那么就得先su root用户再进行如下操作：

vi /etc/security/limits.conf

输入修改命令i，在空白处添加四行文本：

* soft nofile 65535
* hard nofile 65535
* soft nproc 4096
* hard nproc 4096

输入:wq保存退出后，再通过su deng切换回来，然后启动Elasticsearch服务。

3.4.5默认discovery设置不适合生产使用

//默认discovery设置不适合生产使用；至少有一个[discovery.seed_hosts, discovery.seed_providers, cluster.initial_master_nodes]必须配置
the default discovery settings are unsuitable for production use; at least one of [discovery.seed_hosts, discovery.seed_providers, cluster.initial_master_nodes] must be configured

根据上述错误，输入命令进行如下操作：

vi elasticsearch.yml

输入修改命令i，找到文件中这项配置，把前面的#符号删除开放出来并修改为如下内容：

cluster.initial_master_nodes: ["node-1"]

输入:wq保存退出后启动Elasticsearch服务。

3.4.6无法获取节点锁

//无法获取节点锁
java.lang.IllegalStateException: failed to obtain node locks

这个错误原因是因为系统已经存在elasticsearch进程了，找出这个进程，把它kill掉重新启动就可以了，具体操作命令如下：

//查看elasticsearch进程
ps -ef | grep elasticsearch
//kill进程ID，格式（kill -9 1111）
kill -9 xxxx

然后重新启动Elasticsearch服务。

3.4.7Elasticsearch服务正常启动

如果还不能访问，把linux系统防火墙关闭，操作防火墙命令如下：

//查看防火状态
systemctl status firewalld
//暂时关闭防火墙
systemctl stop firewalld
//永久关闭防火墙
systemctl disable firewalld
//重启防火墙
systemctl enable firewalld

成功访问界面如下：

4.Kibana部署

因为之前已经创建好kibana文件夹，我们只需要把kibana安装包解压到对应文件夹中再启动服务就好了。

4.1解压Kibana安装包

先切换到kibana文件夹目录：

//切换kibana文件夹
cd /home/deng/kibana

把kibana安装包解压到kibana目录当中：

//解压kibana安装包
tar -zxvf /home/deng/installpackage/kibana-7.8.0-linux-x86_64.tar.gz

4.2修改kibana配置指定kibana服务主机

先切换到kibana文件夹config目录：

//切换kibana/config文件夹
cd /home/deng/kibana/kibana-7.8.0-linux-x86_64/config

使用vi文本编辑器修改kibana.yml配置文件：

//vi文本编辑器打开kibana.yml配置文件
vi kibana.yml

找到文件中这三项配置输入i修改，把前面的#符号删除开放出来并修改为如下内容：

server.port: 5601
server.host: "192.168.112.xxx"
elasticsearch.host: "http://192.168.112.xxx:9200"

如果需要修改为中文显示：

i18n.locale: "zh-CN"

再切换到kibana文件夹bin目录，启动kibana服务：

//切换kibana/bin目录
cd /home/deng/kibana/kibana-7.8.0-linux-x86_64/bin
//启动kibana服务
./kibana

成功访问界面如下：

5.Elasticsearch开启登录验证功能

先停止Elasticsearch服务，配置X-Pack打开安全配置功能：

//配置X-Pack打开安全配置功能
xpack.security.enabled: true
xpack.security.transport.ssl.enabled: true

重启Elasticsearch服务，执行设置用户名和密码的命令，为elastic、kibana、logstash_system、beats_system四个用户分别设置密码：

//切换elasticsearch/bin目录
cd /home/deng/elasticsearch/elasticsearch-7.8.0/bin
//执行设置用户名和密码的命令，为4个用户分别设置密码：elastic、kibana、logstash_system、beats_system
./elasticsearch-setup-passwords interactive

如图所示：

在浏览器上输入Elasticsearch链接地址会看到如下界面：

输入帐号elastic跟设置的密码即可登录成功！
Elasticsearch设置用户密码后，还需要在Kibana上设置对应的帐号跟密码，具体命令如下：

//切换kibana/config目录
cd /home/deng/kibana/kibana-7.8.0-linux-x86_64/config
//设置Kibana登录帐号跟密码
elasticsearch.username: "elastic"
elasticsearch.password: "xxx"

如图所示：

然后开启Kibana服务，在浏览器上输入Kibana地址会看到如下界面：

输入帐号elastic跟设置的密码即可登录成功！

参考文献：
Elasticsearch官网