1.ELK简介

  这里简单介绍一下elk架构中的各个组件,关于elk的详细介绍的请自行百度

  • Elasticsearch是个开源分布式搜索引擎,是整个ELK架构的核心

  • Logstash可以对数据进行收集、过滤,存储到ELasticsearch中

  • Kibana 可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面,可以帮助您汇总、分析和搜索重要数据日志

  

  下面是各个组件在架构中起到的作用

2.组件下载

elasticsearch对版本极其敏感,所以一定要注意elk所有组件务必保持版本一致!

elk组件下载地址》》:https://www.elastic.co/cn/downloads/

3.elasticsearch配置

如果是本机使用elasticsearch基本上解压即用,只需要注意将elasticsearch配置成外网可访问,方法如下:

修改elasticsearch/config目录下的elasticsearch.yml文件

network.host: 0.0.0.0

将network.host设置为0.0.0.0即可开启外网访问,elasticsearch默认端口9200如果需要修改还是在elasticsearch.yml文件中

http.port: 9200

elasticsearch设置数据存储路径以及目录存储路径

path.data: /path/to/data
path.logs: /path/to/logs

启动方式:

  windows下双击elasticsearch.bat启动

  linux下执行elasticsearch启动 -d为后台启动

4.logstash配置

整个elk架构中logstash需要配置的地方最多,首先logstash起到的作用是收集数据导入至elasticsearch中,收集的方法有很多中,关系型数据库,非关系型数据库亦或者文件这里主要讲一下关系型数据库的导入

先贴出笔者的配置文件

input {
jdbc {
     #设置数据库url
jdbc_connection_string => "jdbc:mysql://localhost:3306/elk"
#账号与密码
     jdbc_user => "root"
jdbc_password => "root"
#对应数据库的jar包位置以及jdbc类型
     jdbc_driver_library => "/root/mysql-connector-java-5.1.46.jar"
jdbc_driver_class => "com.mysql.jdbc.Driver"
#每次启动logstash是否重新加载数据
     clean_run => false
#编码格式
     codec => plain { charset => "UTF-8"}
#是否使用user_column_value 记录每次查询的值,这个必须为递增的值,在sql中可以使用:sql_last_value取出该值,如果不设置即默认该值为上次执行sql的时间
     use_column_value => false
     #sql语句位置
statement_filepath => "/root/product_list.sql"
#记录上一次执行时间的文件位置
     last_run_metadata_path => "/root/product_last_run_time.txt"
#使用corn表达式定义执行周期
     schedule => "*/30 * * * * *"
     #多个配置文件时定义该次查询集的名字,方便output、filter进行逻辑处理
type => "test"
  #时区
jdbc_default_timezone => "Asia/Shanghai"
}
}
output {
#使用if判断type
if [type] == "test"{
#输出时的数据类型
stdout { codec => json_lines }
#输出到elasticsearch
elasticsearch {
     #elasticsearch地址
hosts => ["localhost:9200"]
#存储到elasticsearch中的索引名
     index => "test"
     #存到elasticsearch中的类型名
document_type => "test"
     #存到elasticsearch中的id
document_id => "%{id}"
   #使用模板存储到elasticsearch中
template_name => "test"
     #模板位置
template => "/root/logstash-ik.json"
}
}
}

在数据量大的期初导入数据可能会因为数据量太大导致jvm内存溢出,修改logstash/config下jvm.options文件

-Xms1g
-Xmx1g

根据机器配置去修改jvm的最大内存至8g或者更多

如果这样都不能解决内存溢出的问题,笔者这里建议将logstash数据存储从内存放到本地磁盘,这样会牺牲速率但解决了期初数据量太大的问题

修改logstash/config下logstash.yml文件

配置如下:

queue.type: persisted
queue.max_bytes: 10240mb

将queue.type设置为persisted,queue.max_bytes设置队列的最大存储数量

还有一些关于logstash性能上的优化

#logstash同时工作的线程数量,默认为服务器cpu核数,一般在cpu核数的四倍及以下合理
pipeline.workers: 2
#logstash一次操作的数据量,可以根据服务器内存来调整
pipeline.batch.size: 125

还有一些其他的优化可以自行参考logstash.yml文件

5.Kibana配置

Kibana需要修改的配置不多,需要注意如果要开启远程访问Kibana需要修改

KIBANA/config/kibaba.yml下的

server.host:"localhost"更改为

server.host: "0.0.0.0" 就可以远程访问Kibana

关于elk搜索引擎的环境搭建以及配置就到这里,要配置的地方也不多,基本上是开包即用,后面会介绍如何使用关于elasticsearch的使用以及讲解如何使用elk做一个电商平台的搜索引擎。

ELK(elasticsearch+kibana+logstash)搜索引擎(一): 环境搭建的更多相关文章

  1. ELK(elasticsearch+kibana+logstash)搜索引擎(二): elasticsearch基础教程

    1.elasticsearch的结构 首先elasticsearch目前的结构为 /index/type/id  id对应的就是存储的文档ID,elasticsearch一般将数据以JSON格式存储. ...

  2. 【ELK】【docker】【elasticsearch】2.使用elasticSearch+kibana+logstash+ik分词器+pinyin分词器+繁简体转化分词器 6.5.4 启动 ELK+logstash概念描述

    官网地址:https://www.elastic.co/guide/en/elasticsearch/reference/current/docker.html#docker-cli-run-prod ...

  3. Docker安装部署ELK教程(Elasticsearch+Kibana+Logstash+Filebeat)

    Elasticsearch 是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等. Logstash 是一个完全开 ...

  4. elasticsearch kibana logstash(ELK)的安装集成应用

    官网关于kibana的学习指导网址是:https://www.elastic.co/guide/en/kibana/current/index.html Kibana是一个开源的分析和可视化平台,设计 ...

  5. Elasticsearch,Kibana,Logstash,NLog实现ASP.NET Core 分布式日志系统

    Elasticsearch - 简介 Elasticsearch 作为核心的部分,是一个具有强大索引功能的文档存储库,并且可以通过 REST API 来搜索数据.它使用 Java 编写,基于 Apac ...

  6. ELK日志分析平台系统CentOS7环境搭建和基本使用

    一.搭建环境 系统环境:CentOS7 安装iptables:https://blog.csdn.net/momo_mutou/article/details/81739155 jdk1.8:  ht ...

  7. Elasticsearch+Kibana+Logstash安装

    安装环境: [root@node- src]# cat /etc/redhat-release CentOS Linux release (Core) 安装之前关闭防火墙 firewalld 和 se ...

  8. ELK日志分析系统(1)-基本环境搭建

    1. 概述 ELK = Elasticsearch + Logstash + Kibana Elasticsearch是实时全文搜索和分析引擎,提供搜集.分析.存储数据三大功能:是一套开放REST和J ...

  9. 搜索引擎 ElasticSearch 之 步步为营1 【环境搭建&初识ElasticSearch】

    1.下载ElasticSearch a.下载Java环境JDK:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloa ...

随机推荐

  1. Linux配置ntp时间服务器(全)

    时间服务器作用: 大数据产生与处理系统是各种计算设备集群的,计算设备将统一.同步的标准时间用于记录各种事件发生时序, 如E-MAIL信息.文件创建和访问时间.数据库处理时间等. 大数据系统内不同计算设 ...

  2. vc++ openssl 程序签名

    RSA一般有两种应用场景:   1.公钥加密.私钥解密:这是数据安全通信领域最常见情形:   2.私钥加验.公钥验签:这主要用于数字签名. 我们这里用到的是第二种情况: 这里是基于OpenSSL,首先 ...

  3. STL基础4:deque

    #include <iostream> #include <queue> #include <string> using namespace std; #defin ...

  4. python+selenium—webdriver入门(二)

    本文中主要介绍webdriver常见的对象定位方法: 一.对象定位的目的 二.常见的对象定位方法 一.对象定位的目的: 1.操作对象 2.获得对象的属性,如:对象的class属性.name属性等 3. ...

  5. .NET Core 中使用GB2312编码报错的问题

    错误描述 环境 dotnet 2.1.4 现象 当代码中使用 System.Text.Encoding.GetEncoding("GB2312") //或者 System.Text ...

  6. PHP字符串截取函数

    substr函数 描述:实现截取字符串 语法:string substr(string $string,int $start [, int $length ]) 说明:如果省略length,则返回从s ...

  7. MFC程序执行后台操作时不允许操作界面的一种方法

    在使用MFC编写界面程序时,有时候会遇到像点击按钮后,后台进行大量操作后才显示处理结果这种情况,在后台处理过程中,界面不应该被允许做任何操作,这里介绍一种方法. 解决办法 点击按钮后,弹出一个模态对话 ...

  8. 获取sql 时间时分秒

    select DATE_FORMAT(now(),'%Y-%m-%d %T') from dual;  年月日时分秒 select DATE_FORMAT(now(),'%T') from dual; ...

  9. OpenCV从2到3的过渡

    与版本2.4相比,OpenCV 3.0引入了许多新算法和功能.有些模块已被重写,有些已经重组.尽管2.4中的大多数算法仍然存在,但接口可能不同.本节描述了一般性的最显着变化,过渡操作的所有细节和示例都 ...

  10. Django Auth 专题

    Django的标准库存放在 django.contrib 包中.每个子包都是一个独立的附加功能包. 这些子包一般是互相独立的,不过有些django.contrib子包需要依赖其他子包,其中django ...