EFK项目操作(待完善)

Environment：{

　　三台服务器均安装 kafka  zookeeper

　　filebeat

　　logstash

　　kibana

}

一、首先安装zookeeper，kafka，让机器有 leader 和 follower

1、首先准备环境（jdk）（三台机器均执行此步骤）

rpm -ivh jdk-8u131-linux-x64_.rpm

 移动压缩包
mv kafka_2.11-2.2.0.tgz /usr/local/src/
mv zookeeper-3.4.14.tar.gz /usr/local/src/

进入src目录解压压缩包并移动到/usr/local

cd /usr/local/src/

tar -zxvf kafka_2.11-2.2.0.tgz 

tar -zxvf zookeeper-3.4.14.tar.gz 

将kafka包和zookeeper包移动到/usr/local/目录下

 mv kafka_2.11-2.2.0 /usr/local/kafka
 mv zookeeper-3.4.14 /usr/local/zookeeper
 cd /usr/local/zookeeper/
创建两个文件夹，用以放置zookeeper的日志或数据
 mkdir {zkdata,zkdatalog}

此步骤不为关键：用md5查看kafka和zookeeper是否安装

md5sum /usr/local/src/kafka_2.11-2.2.0.tgz

md5sum /usr/local/src/zookeeper-3.4.14.tar.gz

进入配置文件，并拷贝新文件夹，编辑配置文件

cd  conf/
cp zoo_sample.cfg  zoo.cfg
编辑zoo.cfg文件
vim zoo.cfg

tickTime=2000
initLimit=10
syncLimit=5
dataDir=/usr/local/zookeeper/zkdata   　　#修改此文件路径，上一步创建的zkdata文件夹
dataLogDir=/usr/local/zookeeper/zkdatalog　　#添加数据日志的文件夹
clientPort=2181
server.1=192.168.189.172:2888:3888　　#此步骤为三台虚拟机的ip以及端口
server.2=192.168.189.139:2888:3888
server.3=192.168.189.128:2888:3888

　　三台机器桉步骤依次填入序号

echo '1' > /usr/local/zookeeper/zkdata/myid
echo '2' > /usr/local/zookeeper/zkdata/myid
echo '3' > /usr/local/zookeeper/zkdata/myid

cat /usr/local/zookeeperzkdata/myid
查看各个机器的id值

　　三台机器配置文件操作完成，下面进入启动程序

cd /usr/local/zookeeper/bin/

./zkServer.sh start

　　启动完成后可以查看本机的身份（关闭防火墙）

./zkServer.sh  status

　注意，机器连通需要关闭相关防火墙

　　效果如下： 此处有一个leader 和 两个 follower

启动kafka

cd  /usr/local/kafka/bin/config
vim server.properties

　　eg:三台机器各自安配id  ，kafka01、2、3:9092

broker.id=3
advertised.listeners=PLAINTEXT://kafka03:9092
zookeeper.connect=192.168.189.172:2181,192.168.189.139:2181,192.168.189.128:2181
　　

vim /etc/hosts

　　#尾部添加主机三台机器均执行此步骤
192.168.189.172 kafka01
192.168.189.139 kafka02
192.168.189.128 kafka03

　　

进入目录开启kafka服务

cd /usr/local/kafka/bin/

./kafka-server-start.sh -daemon ../config/server.properties

　　查看是否有9092端口，有代表服务开启

创建主题端口

cd  /usr/local/kafka/bin/
./kafka-server-start.sh
./kafka-server-start.sh -daemon ../config/server.properties

./kafka-topics.sh --create --zookeeper 192.168.189.128:2181 --replication-factor 2 --partitions 3 --topic wg007

./kafka-topics.sh --list --zookeeper 192.168.189.128:2181　　#查看创建的主题名称

创建虚拟用户下单以及接单（简明来说：一台机器输入，另一台机器可显示其输入的内容）

./kafka-console-producer.sh --broker-list 192.168.189.128:9092 --topic wg007

　　第二台机器连接第一台机器，用以查看第一台机器输入的内容

/usr/local/kafka/bin/kafka-console-consumer.sh --bootstrap-server 192.168.189.172:9092 --topic logstash --from-beginning

二、filebeat端 web界面显示的服务（filebeat）

1、编辑filebeat的yum源

vim /etc/yum.repos.d/filebeat.repo

yum -y install filebeat

　　yum源配置文件如下

[filebeat-.x]
name=Elasticsearch repository for .x packages
baseurl=https://artifacts.elastic.co/packages/6.x/yum
gpgcheck=
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=
autorefresh=
type=rpm-md

下载完配置此filebeat的配置文件

vim /etc/filebeat/filebeat.yml　

此步骤为要监控的服务的日志，本机器监控nginx