CentOS7下 简单安装和配置Elasticsearch Kibana Filebeat 快速搭建集群日志收集平台

目录

• [TOC]
• 1.添加elasticsearch官网的yum源
• 2.Elasticsearch
  • 安装elasticsearch
  • 配置elasticsearch
  • 启动elasticsearch并设为开机启动
• 3.Kibana
  • 安装kibana
  • 配置kibana
  • 启动kibana并设为开机启动
• 4.Filebeat
  • 安装filebeat
  • 配置filebeat
  • 启动filebeat并设为开机启动
• 5.操作Kibana界面，显示收集的日志

 

1.添加elasticsearch官网的yum源

cd /etc/yum.repos.d/
vi CentOS-Base.repo

在末尾添加内容如下：

[elastic-6.x]
name=Elastic repository for 6.x packages
baseurl=https://artifacts.elastic.co/packages/6.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md

点击ESC 输入:wq [回车键]，进行保存(基础操作，后边不再提示)

执行以下命令：

yum clean all
yum makecache

---

 

2.Elasticsearch

elasticsearch是个搜索引擎，可以存放数据，也可以为数据建立索引，这里我只是用他来存放和搜索日志信息，没有用的太深入。

安装elasticsearch

方式一(需要添加elasticsearch官网的yum源，方法见上文)：

yum install -y elasticsearch

方式二：

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.3.2.rpm
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.3.2.rpm.sha512
shasum -a 512 -c elasticsearch-6.3.2.rpm.sha512
sudo rpm --install elasticsearch-6.3.2.rpm

配置elasticsearch

vi /etc/elasitcsearch/elasticsearch.yml

添加内容(注意冒号后有空格，下文不再提示)：

network.host: [ELASTICSEARCH服务器的IP]
http.port: 9200

保存，如果不配置成实际的IP地址，则只能在localhost中查看；9200是默认端口，第二行不配也是可以的。

如果开了防火墙，开放上文对应端口：

firewall-cmd --add-port=9200/tcp --permanent
firewall-cmd --reload

启动elasticsearch并设为开机启动

systemctl start elasticsearch
systemctl enable elasticsearch

启动后访问 [ELASTICSEARCH服务器的IP]:9200 端口，可以看到类似内容：

{
  "name" : "Y247g1N",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "wfwynAOWR7SV9aEitx-sgw",
  "version" : {
    "number" : "6.3.2",
    "build_flavor" : "default",
    "build_type" : "rpm",
    "build_hash" : "053779d",
    "build_date" : "2018-07-20T05:20:23.451332Z",
    "build_snapshot" : false,
    "lucene_version" : "7.3.1",
    "minimum_wire_compatibility_version" : "5.6.0",
    "minimum_index_compatibility_version" : "5.0.0"
  },
  "tagline" : "You Know, for Search"
}

---

 

3.Kibana

安装kibana

yum install -y kibana

配置kibana

vi /etc/kibana/kibana.yml

添加内容：

server.port: 5601
server.host: "[KIBANA的IP]"
elasticsearch.url: "http://[ELASTICSEARCH服务器的IP]:9200"

如果开了防火墙，开放上文对应端口：

firewall-cmd --add-port=5601/tcp --permanent
firewall-cmd --reload

启动kibana并设为开机启动

systemctl start kibana
systemctl enable kibana

访问[KIBANA的IP]:5601端口，可以打开kibana，此时kibana已经和elasticsearch建立联系，不过因为elasticsearch没有被导入任何数据，所以没有实际意义，下一步我们把日志通过filebeat收集到elasticsearch。

---

 

4.Filebeat

filebeat可以用来收集各种日志文件，并导入到elasticsearch中，需要在每台被收集日志的机器上安装

安装filebeat

wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.3.2-x86_64.rpm
sudo rpm -vi filebeat-6.3.2-x86_64.rpm

配置filebeat

vi /etc/filebeat/filebeat.yml

在下文的paths: 下，增加你日志的路径信息，并把enabled设为true

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /[你的日志路径，可以用一个*代表一层目录]/current.log

elasticsearch的地址改成你刚才设置的地址：

#-------------------------- Elasticsearch output ------------------------------
output.elasticsearch:
  # Array of hosts to connect to.
  hosts: ["[ELASTICSEARCH的IP]:9200"]

启动filebeat并设为开机启动

systemctl start filebeat
systemctl enable filebeat

---

 

5.操作Kibana界面，显示收集的日志

接下来在下拉框中选择 @timestamp ，并点击完成

最后进入

可以看到刚才配置的“Index Patterns”，以及其下的所有日志文件。在界面上可以搜索和过滤，快速找到想要的内容。

完毕