ElasticSearch和Kibana 5.X集群的安装

ElasticSearch和Kibana 5.X集群的安装

---

• 1、准备工作
  • 1.1、下载安装包
  • 1.2、系统的准备
• 2、ElasticSearch集群的安装
  • 2.1、修改 config/elasticsearch.yml 文件
  • 2.2、修改 bin/elasticsearch 文件
  • 2.3、将整个ElasticSearch目录复制到其它服务器
  • 2.4、将启动加入到系统服务(可选，方便启动)
  • 2.5、启动集群
• 3、Kibana安装
  • 3.1、修改配置文件
  • 3.2、启动Kibana

---

1、准备工作

1.1、下载安装包

在Elastic官网下载安装包，ElasticSearch和Kibana版本必须一致！！！

本次安装的版本为5.3.2:

• elasticsearch-5.3.2.tar.gz
• kibana-5.3.2-linux-x86_64.tar.gz

1.2、系统的准备

• ElasticSearch集群不能以root用户启动，所以需要准备一个非root用户。
• 设置系统允许内存锁定

ulimit -l unlimited

2、ElasticSearch集群的安装

2.1、修改 config/elasticsearch.yml 文件

---

！！！！！！！注意: 配置文件中，冒号后面必须加空格！！！！！！！！！！！

---

• 修改集群名称(防止以后出现集群重名，必须修改)，和节点名称

• 修改集群的数据存放目录和日志目录(注意权限问题，将相应目录的所属用户:组更改为集群启动的用户)

• 内存相关设置，增加如下属性:

  • indices.memory.index_buffer_size: 25%
  • indices.memory.min_index_buffer_size: 512mb
  • bootstrap.memory_lock: true

• 网络配置，增加如下属性(我们有5台机器，其中4台master和node都设为true，另外一台都为false作为负载均衡点):

  • transport.publish_host: 0.0.0.0
  • transport.bind_host: 0.0.0.0
  • http.host: 172.31.18.13 ------------- 更改为本机地址
  • network.bind_host: 0.0.0.0
  • network.publish_host: 0.0.0.0
  • transport.tcp.port: 9300
  • node.master: true ------------- 设置为master
  • node.data: true ------------- 设置为datanode
  • http.port: 9200
  • http.enabled: true
  • http.cors.enabled: true
  • http.cors.allow-origin: "*"

• 配置集群自动发现节点

  • discovery.zen.ping.unicast.hosts: 集群的所有ip，用双引号包含，逗号隔开
  • discovery.zen.minimum_master_nodes: 集群最小master数量，值设置为 节点数/2 + 1

• 线程池和脚本配置，添加以下参数:

  • script.painless.regex.enabled: true ----- 允许使用正则
  • thread_pool.index.size: 33 ----- 具体数值为CPU物理核的2倍
  • thread_pool.index.queue_size: 1000 ----- 具体数值大约为CPU物理核的60倍

• 附:公司ElasticSearch集群的配置文件:elasticsearch.yml

2.2、修改 bin/elasticsearch 文件

在文件前面增加如下属性:

• JAVA_HOME=/usr/local/jdk1.8.0_77 ----- jdk目录

• ES_JAVA_OPTS="-Xms31g -Xmx31g" ----- 设置内存，总内存的一半和31之间取小的

• JAVA_OPTS="$JAVA_OPTS -XX:+UseParNewGC"

• JAVA_OPTS="$JAVA_OPTS -XX:+UseConcMarkSweepGC"

• JAVA_OPTS="$JAVA_OPTS -XX:CMSInitiatingOccupancyFraction=75"

• JAVA_OPTS="$JAVA_OPTS -XX:+UseCMSInitiatingOccupancyOnly"

2.3、将整个ElasticSearch目录复制到其它服务器

• 将目录复制到其它服务器之后，修改每个机器的config/elasticsearch.yml中的节点名称、http.host、和服务器硬件配置有关的相关参数
• 其中一台服务器的node.master和node.data都设置为false，作为负载均衡点，集群和外界通讯都通过这台机器，这台机器的硬件配置可以低一点

2.4、将启动加入到系统服务(可选，方便启动)

服务脚本为:

#!/bin/bash
# chkconfig: 2345 10 90
# description: Elasticsearch Service .... 

# 此处需要更改
ES_HOME=/opt/elasticsearch

EXEC_PATH=$ES_HOME
EXEC=elasticsearch
DAEMON=$EXEC_PATH/bin/$EXEC
PID_FILE=$ES_HOME/pid/es.pid
ServiceName='Elasticsearch 5.0'

. /etc/rc.d/init.d/functions

if [ ! -x $DAEMON ] ; then
      echo "ERROR: $DAEMON not found"
      exit 1
fi

stop()
{
      echo "Stoping $ServiceName ..."
      ps aux | grep "$DAEMON" | kill -9 `awk '{print $2}'` >/dev/null 2>&1
      rm -f $PID_FILE
      usleep 100
      echo "Shutting down $ServiceName: [  successful  ]"
}

start()
{
      echo "Starting $ServiceName ..."
      $DAEMON > /dev/null &
      pidof $EXEC > $PID_FILE
      usleep 100
      echo "Shutting down $ServiceName: [  successful  ]"
}
restart()
{
    stop
    start
}
case "$1" in
    start)
        start
        ;;
    stop)
        stop
        ;;
    restart)
        restart
        ;;
    status)
        status -p $PID_FILE $DAEMON
        ;;
    *)
        echo "Usage: service $ServiceName {start|stop|restart|status}"
        exit 1
esac
exit $?

2.5、启动集群

后台运行每台机器的 bin/elasticsearch 脚本

用浏览器访问负载均衡点的9200端口: http://172.31.18.15:9200/_cluster/health

{
    "cluster_name": "datageek",
    "status": "green",
    "timed_out": false,
    "number_of_nodes": 5,
    "number_of_data_nodes": 4,
    "active_primary_shards": 43,
    "active_shards": 58,
    "relocating_shards": 0,
    "initializing_shards": 0,
    "unassigned_shards": 0,
    "delayed_unassigned_shards": 0,
    "number_of_pending_tasks": 0,
    "number_of_in_flight_fetch": 0,
    "task_max_waiting_in_queue_millis": 0,
    "active_shards_percent_as_number": 100
}

如果看到如上结果，各个nodes数量都对得上，就说明集群安装成功。

3、Kibana安装

3.1、修改配置文件

• 修改config/kibana.yml文件，增加如下三个属性(冒号后面要加空格):
  • script.painless.regex.enabled: true
  • server.host: "0.0.0.0"
  • elasticsearch.url: "http://172.31.18.15:9200" ----- elasticsearch集群的负载均衡点的ip和端口
• 修改bin/kibana文件，在首行增加 JAVA_HOME=/usr/local/jdk1.8.0_77

3.2、启动Kibana

后台运行bin/kibana脚本，在浏览器访问kibana机器的5601端口，看到页面说明Kibana安装成功。