ELK(elasticsearch+kibana+logstash)搜索引擎(一)： 环境搭建

1.ELK简介

　　这里简单介绍一下elk架构中的各个组件，关于elk的详细介绍的请自行百度

• Elasticsearch是个开源分布式搜索引擎，是整个ELK架构的核心

• Logstash可以对数据进行收集、过滤，存储到ELasticsearch中

• Kibana 可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助您汇总、分析和搜索重要数据日志

　　

　　下面是各个组件在架构中起到的作用

2.组件下载

elasticsearch对版本极其敏感，所以一定要注意elk所有组件务必保持版本一致!

elk组件下载地址》》：https://www.elastic.co/cn/downloads/

3.elasticsearch配置

如果是本机使用elasticsearch基本上解压即用，只需要注意将elasticsearch配置成外网可访问，方法如下：

修改elasticsearch/config目录下的elasticsearch.yml文件

network.host: 0.0.0.0

将network.host设置为0.0.0.0即可开启外网访问，elasticsearch默认端口9200如果需要修改还是在elasticsearch.yml文件中

http.port: 9200

elasticsearch设置数据存储路径以及目录存储路径

path.data: /path/to/data
path.logs: /path/to/logs

启动方式：

　　windows下双击elasticsearch.bat启动

　　linux下执行elasticsearch启动 -d为后台启动

4.logstash配置

整个elk架构中logstash需要配置的地方最多，首先logstash起到的作用是收集数据导入至elasticsearch中，收集的方法有很多中，关系型数据库，非关系型数据库亦或者文件这里主要讲一下关系型数据库的导入

先贴出笔者的配置文件

input {
    jdbc {
　　　　 #设置数据库url
        jdbc_connection_string => "jdbc:mysql://localhost:3306/elk"
        #账号与密码
　　　　 jdbc_user => "root"
        jdbc_password => "root"
        #对应数据库的jar包位置以及jdbc类型
　　　　 jdbc_driver_library => "/root/mysql-connector-java-5.1.46.jar"
        jdbc_driver_class => "com.mysql.jdbc.Driver"
        #每次启动logstash是否重新加载数据
　　　　 clean_run => false
        #编码格式
　　　　 codec => plain { charset => "UTF-8"}
        #是否使用user_column_value 记录每次查询的值，这个必须为递增的值，在sql中可以使用:sql_last_value取出该值，如果不设置即默认该值为上次执行sql的时间
　　　　 use_column_value => false
　　　　 #sql语句位置
        statement_filepath => "/root/product_list.sql"
        #记录上一次执行时间的文件位置
　　　　 last_run_metadata_path => "/root/product_last_run_time.txt"
        #使用corn表达式定义执行周期
　　　　 schedule => "*/30 * * * * *"
　　　　 #多个配置文件时定义该次查询集的名字，方便output、filter进行逻辑处理
        type => "test"
　　#时区
    jdbc_default_timezone => "Asia/Shanghai"
    }
}
output {
#使用if判断type
if [type] == "test"{
#输出时的数据类型
stdout { codec => json_lines }
#输出到elasticsearch
    elasticsearch {
　　　　 #elasticsearch地址
        hosts => ["localhost:9200"]
        #存储到elasticsearch中的索引名
　　　　 index => "test"
　　　　　#存到elasticsearch中的类型名
        document_type => "test"
　　　　 #存到elasticsearch中的id
        document_id => "%{id}"
　　     #使用模板存储到elasticsearch中
        template_name => "test"
　　  　　#模板位置
        template => "/root/logstash-ik.json"
    }
}
}

在数据量大的期初导入数据可能会因为数据量太大导致jvm内存溢出，修改logstash/config下jvm.options文件

-Xms1g
-Xmx1g

根据机器配置去修改jvm的最大内存至8g或者更多

如果这样都不能解决内存溢出的问题，笔者这里建议将logstash数据存储从内存放到本地磁盘，这样会牺牲速率但解决了期初数据量太大的问题

修改logstash/config下logstash.yml文件

配置如下：

queue.type: persisted
queue.max_bytes: 10240mb

将queue.type设置为persisted，queue.max_bytes设置队列的最大存储数量

还有一些关于logstash性能上的优化

#logstash同时工作的线程数量，默认为服务器cpu核数，一般在cpu核数的四倍及以下合理
pipeline.workers: 2
#logstash一次操作的数据量，可以根据服务器内存来调整
pipeline.batch.size: 125

还有一些其他的优化可以自行参考logstash.yml文件

5.Kibana配置

Kibana需要修改的配置不多，需要注意如果要开启远程访问Kibana需要修改

KIBANA/config/kibaba.yml下的

server.host:"localhost"更改为

server.host: "0.0.0.0" 就可以远程访问Kibana

关于elk搜索引擎的环境搭建以及配置就到这里，要配置的地方也不多，基本上是开包即用，后面会介绍如何使用关于elasticsearch的使用以及讲解如何使用elk做一个电商平台的搜索引擎。