ELKstack5.6.5

ELKstack

安装：

一：环境准备：

1.给添加块磁盘50G，相当于模拟raid

2.分别给它们做本机的主机解析

[root@node01 ~ ]#cat  /etc/hosts

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4

::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

nameserver 8.8.8.8

node02  192.168.5.105

node01  192.168.5.111

3.挂载磁盘

添加新硬盘并动态显示出来

[root@node01 ~ ]#echo "- - -" > /sys/class/scsi_host/host0/scan

root@node01 ~ ]#echo "- - -" > /sys/class/scsi_host/host1/scan

root@node01 ~ ]#echo "- - -" > /sys/class/scsi_host/host2/scan

[root@node01 ~ ]#fdisk -l

.

.

Disk /dev/sdb: 53.7 GB, 53687091200 bytes, 104857600 sectors

Units = sectors of 1 * 512 = 512 bytes

Sector size (logical/physical): 512 bytes / 512 bytes

I/O size (minimum/optimal): 512 bytes / 512 bytes

直接格式化硬盘

[root@node01 ~ ]#mkfs.xfs /dev/sdb

创建目录把硬盘挂载上去---专门存elk收集到的数据

[root@node01 ~ ]#mkdir /elk

把磁盘挂载上去---先看uuid----用blkid命令

[root@node01 ~ ]#vim /etc/fstab

UUID="fb6e6609-5f90-41c6-a47d-93587e2ca4f8" /elk      xfs     defaults  0 0

[root@node01 ~ ]#mount -a

[root@node01 ~ ]#df -H

/dev/sdb         54G   34M   54G   1% /elk

https://www.elastic.co/cn/ 官网

3.各种包准备

下载地址：elasticsearch-5.6.5.tar.gz

https://www.elastic.co/downloads/past-releases/elasticsearch-5-6-5

https://artifacts.elastic.co/downloads/logstash/logstash-5.6.5.rpm

https://artifacts.elastic.co/downloads/kibana/kibana-5.6.5-x86_64.rpm

http://download.oracle.com/otn-pub/java/jdk/8u181-b13/96a7b8442fe848ef90c96a2fad6ed6d1/jdk-8u181-linux-x64.rpm

https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-5.6.5-x86_64.rpm

https://src.fedoraproject.org/repo/pkgs/haproxy/

https://mirrors.tuna.tsinghua.edu.cn/mysql/downloads/Connector-J/mysql-connector-java-5.1.45.zip

http://nginx.org/download/nginx-1.10.3.tar.gz

http://download.redis.io/releases/redis-3.2.9.tar.gz

http://archive.apache.org/dist/tomcat/tomcat-7/v7.0.69/bin/apache-tomcat-7.0.69.zip

4.安装

[root@node01]#yum install -y elasticsearch-5.6.5.rpm    jdk-8u181-linux-x64.rpm

5.修改配置文件

[root@node01 ~ ]#grep -v "^#" /etc/elasticsearch/elasticsearch.yml

cluster.name: elk-cluster1    集群名

node.name: elk-node01

path.data: /elk/data

path.logs: /elk/logs

network.host: 192.168.5.111  监听地址

http.port: 9200

discovery.zen.ping.unicast.hosts: ["192.168.5.111", "192.168.5.105"]改成组播

6.启动

[root@node01 ~ ]#systemctl start elasticsearch  现在是启不来的

[root@node01 ~ ]#ll /elk      没有数据

total 0

[root@node01 ~ ]#tail -f  /var/log/messages    报错了

Unit elasticsearch.service entered failed state

[root@node01 ~ ]#vim /var/log/messages

ERROR Unable to create file /elk/elk-cluster1.log java.io.IOException: Permi

ssion denied  创建的文件权限是拒绝的

报错：

主要原因是启动脚本中它定义了用户和组是如下,所以它对/elk目录是没有任何权限

[root@node01 ~ ]#cat /usr/lib/systemd/system/elasticsearch.service

User=elasticsearch

Group=elasticsearch

[root@node01 ~ ]#ll -d /elk  权限755，由下可以看出其它组只有读和执行权,其它

人只有执行权限

drwxr-xr-x. 2 root root 6 Aug  8 00:50 /elk

两种解决办法：

把elasticsearch启动测试的脚本改成root

把/elk目录改成elasticsearch属主组

[root@node01 ~ ]#chown -R elasticsearch:elasticsearch /elk/

http://192.168.5.111:9200/    浏览器中已看到

7.同样的在节点2上也安装：

[root@node02 ~ ]#yum install -y jdk-8u181-linux-x64.rpm        elasticsearch-5.6.5.rpm

同上修改配置文件并启动

结果报错如下：

[root@node02 ~ ]#vim /var/log/messages

OpenJDK 64-Bit Server VM warning: INFO: os::commit_memory(0x00000

00085330000, 2060255232, 0) failed; error='Cannot allocate memory' (errno=12)

这种错误:原因就是内存无法分配的问题 解决办法有两个种（这要看遇到的具体是什么了）

1.分配给Hadoop和hbase的内存过大了 可以修改hadoop-env.sh和hbase-env.sh中的Hadoop和hbase内存 给小一点就ok了

2.现执行命令 free -m 查看内存是不是还有 最主要的是 看有没有交换空间 swap （这很重要）如果没有交换空间 或者交换空间比较小  要先安装交换空间 或者增大空间

（1）、创建swapfile：

root权限下，创建swapfile  # dd  if=/dev/zero  of=swapfile  bs=1024  count=1000000  （有时会遇到dd命令不识别 可能是你安装过一次了 没事 先把swapfile删除就ok了）

（2）、将swapfile设置为swap空间

# mkswap swapfile

（3）、启用交换空间，这个操作有点类似于mount操作（个人理解）：

# swapon  swapfile （删除交换空间 swapoff swapfile）

至此增加交换空间的操作结束了，可以使用free命令查看swap空间大小是否发生变

再重新启动又报错：

[root@node02 ~ ]#vim /var/log/messages

OpenJDK 64-Bit Server VM warning: If the number of processors is expected to increase from one, then you should configure the number of parallel GC threads appropriately using -XX:ParallelGCThreads=N

在虚拟机的设置中，将处理器的处理器核心数量改成2，重新执行启动命令后，能够正常运行。若还是未能执行成功，可进一步将处理器数量也改成2.

这样就好了

二：安装插件elasticsearch-head

第一步，安装git

需要从github上面下载代码，因此先要安装git

yum -y install git

安装完成后，就可以直接下载代码了：

git clone git://github.com/mobz/elasticsearch-head.git

后在head目录中，执行npm install 下载以来的包：

npm install

npm run start

这个时候，访问http://xxx:9100就可以访问head插件了.