Windows下ELK-5.4.3环境搭建

一、概述

ELK官网 https://www.elastic.co
ELK由Elasticsearch、Logstash和Kibana三部分组件组成; Elasticsearch是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等。
Logstash是一个完全开源的工具,它可以对你的日志进行收集、分析,并将其存储供以后使用
kibana 是一个开源和免费的工具,它可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面,可以帮助您汇总、分析和搜索重要数据日志。

常见平台架构

ELK = Elasticsearch + Logstash + Kibana
EFK = Elasticsearch + Flume + Kibana 简单架构:
ELK+Redis

(Logstash/Flume)->(Kafka/Redis)->ES->Web 可更简单些:
Client(Filebeat) --> LogServer(Logstash-->Elasticsearch-->Kibana )
(可以不用Logstash,Filebeat直接输出到ES) 复杂架构:
数据采集层[离线/实时数据,MySQL/ES/Logstash/Flume]
->数据传输层[Kafka/Redis]
->数据缓存层[Storm->Kafka]
->计算存储层[离线计算(Kylin/Spark SQL/Impala/MR)、实时计算(Storm/Spark Streaming/Flink/Druid)、存储(ES/MySQL/Hbase/HDFS/Kudu)]
->应用层[Web/REST API]

二、下载安装ELK

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.4.3.tar.gz --no-check-certificate
wget https://artifacts.elastic.co/downloads/logstash/logstash-5.4.3.tar.gz --no-check-certificate
wget https://artifacts.elastic.co/downloads/kibana/kibana-5.4.3-windows-x86.zip --no-check-certificate 注意需要jdk8环境

三、修改配置

3.1.编辑ES配置文件:

// E:/elk/elasticsearch-5.4.3/config/elasticsearch.yml 

network.host:192.168.1.106
http.port: 9200

3.2.新建Logstash日志分析配置文件:

// E:\elk\logstash-5.4.3\config\logstash.conf

input {
file {
type => "nginx_access"
path => "D:\nginx\logs\access.log"
}
}
output {
elasticsearch {
hosts => ["192.168.1.106:9200"]
index => "access-%{+YYYY.MM.dd}"
}
stdout {
codec => json_lines
}
}

3.3.编辑Kibana配置文件:

// E:/elk/kibana-5.4.3-windows-x86/config/kibana.yml

server.port: 5601
server.host: 192.168.1.106
elasticsearch.url: "http://192.168.1.106:9200"

四、启动

//启动ES
elasticsearch.bat //启动Logstash
logstash.bat -f ../config/logstash.conf //启动kibana
kibana.bat

五、验证

curl -XGET http://192.168.1.106:9200/
curl -XGET "http://192.168.1.106:9200/_search" -H 'Content-Type: application/json' -d'{"query": {"match_all": {}}}' 或浏览器分别访问
es: http://192.168.1.106:9200/
kibana: http://192.168.1.106:5601/

六、ES支持中文查询

elasticsearch-analysis-ik下载地址:
https://github.com/medcl/elasticsearch-analysis-ik/releases
下载elasticsearch-analysis-ik-5.4.3.zip解压到 elasticsearch-5.4.3\plugins\ik目录下
然后重启elasticsearch 验证 ```shell
GET _search
{
"query": {
"match": {
"message": "中华"
}
}
}

七、elasticsearch-head安装

elasticsearch-head是一个用于管理Elasticsearch的web前端插件

https://github.com/mobz/elasticsearch-head

运行环境准备NodeJS,Grunt

npm install -g grunt-cli
git clone git://github.com/mobz/elasticsearch-head.git
cd elasticsearch-head
npm install

7.1 修改elasticsearch.yml,增加跨域的配置(需要重启es才能生效)

http.cors.enabled: true

http.cors.allow-origin: "*"

7.2 编辑elasticsearch-head/Gruntfile.js,修改服务器监听地址,connect节点增加hostname属性,将其值设置为*

connect: {
server: {
options: {
hostname:'*',
port: 9100,
base: '.',
keepalive: true
}
}
}

7.2 编辑elasticsearch-head/_site/app.js,

修改默认es地址http://localhost:9200/为http://192.168.1.106:9200/, 也可以不修改。

7.3 启动

npm run start

浏览器打开http://192.168.1.106:9100/

七、参考资料

Logstash 最佳实践
http://udn.yyuap.com/doc/logstash-best-practice-cn/index.html Elasticsearch 权威指南
http://www.learnes.net/ Kibana 中文指南
https://kibana.logstash.es/content/ Win 10 ELK(5.4.1) 环境搭建与基本使用与 Expected one of # 解决办法
http://blog.csdn.net/wangming520liwei/article/details/73213438 基于Flume+Kafka+ Elasticsearch+Storm的海量日志实时分析平台
http://blog.csdn.net/ddcowboy/article/details/54617740 Elasticsearch之elasticsearch5.x 新特性
http://www.cnblogs.com/zlslch/p/6619089.html Elasticsearch5.3 安装问题集锦
http://blog.csdn.net/u013365215/article/details/70159141 elasticsearch5.3支持中文内容查询
http://www.cnblogs.com/xiaofei1205/p/6709964.html centos7.2部署最新ELK 5.3
http://www.cnblogs.com/xiaofei1205/p/6699475.html elasticsearch5.3安装插件head
http://www.cnblogs.com/xiaofei1205/p/6704239.html elasticsearch5.3.0安装以及与基于jupyter notebook 的spark交互
http://blog.csdn.net/Xmo_jiao/article/details/73251937 [大数据]-Elasticsearch5.3.1+Kibana5.3.1从单机到分布式的安装与使用<1>
http://www.cnblogs.com/NextNight/p/6826621.html [大数据]-Elasticsearch5.3.1+Kibana5.3.1从单机到分布式的安装与使用<2>
http://www.cnblogs.com/NextNight/p/6829923.html [大数据]-Elasticsearch5.3.1 IK分词,同义词/联想搜索设置
http://www.cnblogs.com/NextNight/p/6837407.html 怒写一篇基于Windows10的最新ElasticSearch5.3的搜索引擎的开发博客(一)
http://blog.csdn.net/u014460701/article/details/69425161 ElasticSearch 5.3——单台服务器多节点
http://blog.csdn.net/zwyjg/article/details/70739690 elasticsearch5.3.0+kibana5.3.0+logstash5.3.0搜索windows环境搭建
http://blog.csdn.net/xr568897472/article/details/71122807 ELK5.1搭建过程(ElasticSearch, Logstash, Kibana)
http://blog.csdn.net/hemin1003/article/details/73295303 ElasticSearch5.3.2+LogStash+Kibana+Redis日志管理平台搭建
http://blog.csdn.net/chenzenan/article/details/71126732 使用kibana+logstash+elasticsearch+redis搭建分布式日志收集、分析、查询系统。
http://blog.csdn.net/zhangxtn/article/details/53695736 聊聊Flume和Logstash的那些事儿
http://www.jianshu.com/p/349ed5ee6419 基于Spark的公安大数据实时运维技术实践
(使用Flume+Logstash+Kafka+Spark Streaming进行实时日志处理分析)
http://geek.csdn.net/news/detail/132138 Flume日志采集系统——初体验(Logstash对比版)
http://www.cnblogs.com/xing901022/p/5631445.html 实战ElasticStack
https://huoding.com/2016/12/11/566 CentOS7下Elastic Stack 5.0日志分析系统搭建
http://www.tuicool.com/articles/VbmMFnu Elasticsearch5和head最新插件学习,JavaAPI demo
http://blog.csdn.net/lanqibaoer/article/details/73526549 richaaaard的ElasticSearch专题
http://www.cnblogs.com/richaaaard/category/783901.html dm_vincent的ElasticSearch专栏
http://blog.csdn.net/dm_vincent/article/category/2718099 ELK笔记
http://www.cnblogs.com/MYSQLZOUQI/p/5849604.html

Windows下ELK-5.4.3环境搭建的更多相关文章

  1. Qt4.8在Windows下的三种编程环境搭建

    Qt4.8在Windows下的三种编程环境搭建 Qt的版本是按照不同的图形系统来划分的,目前分为四个版本:Win32版,适用于Windows平台:X11版,适合于使用了X系统的各种Linux和Unix ...

  2. Qt在Windows下的三种编程环境搭建

    尊重作者,支持原创,如需转载,请附上原地址:http://blog.csdn.net/libaineu2004/article/details/17363165 从QT官网可以得知其支持的平台.编译器 ...

  3. Qt在Windows下的三种编程环境搭建(图文并茂,非常清楚)good

    尊重作者,支持原创,如需转载,请附上原地址:http://blog.csdn.net/libaineu2004/article/details/17363165 从QT官网可以得知其支持的平台.编译器 ...

  4. 【Qt开发】Qt在Windows下的三种编程环境搭建

    从QT官网可以得知其支持的平台.编译器和调试器的信息如图所示: http://qt-project.org/doc/qtcreator-3.0/creator-debugger-engines.htm ...

  5. Windows下Nginx+Mysql+Php(wnmp)环境搭建

    前言 最近想在windows下使用nginx搭建web环境,本来想用套件(WNMP)一键安装,但后来放弃了,觉得还是自己动手,丰衣足食的好,而且套件的局限性太大.所以后来就各种搜索,看到前辈写关于wn ...

  6. 【软件使用】Windows下的Objective-C集成开发环境搭建(IDE)

    Objective-C是苹果软件的编程语言,想要上机学习.调试,有一个集成开发环境(IDE)方便很多.有三类方法搭建Objective-C的集成开发环境: 1)   使用苹果的平台,集成开发环境使用X ...

  7. windows下的go语言的环境搭建和初探

    闲话不说,直入主题. 1.准备工具 a.windows下的Go语言开发安装包 官方下载地址:https://code.google.com/p/go/downloads/list b.Go语言中文官网 ...

  8. Windows下Lua+Redis 断点调试环境搭建==Linux下类似

    Lua+Redis 断点调试环境搭建 windows环境,使用Redis,写lua脚本头疼的问题之一不能对脚本断点调试,google加上自己的摸索,终于搞定. 1.下载ZeroBraneStudio, ...

  9. windows下vue+webpack前端开发环境搭建及nginx部署

    一.开发环境搭建 1.前端框架一般都依赖nodejs,我们首先要安装node.js.请参考http://www.cnblogs.com/wuac/p/6381819.html. 2.由于许多npm的源 ...

  10. windows 下QT5.5+vs2013开发环境搭建

    开发环境搭建: 1.下载QT,下载的网址如下: http://download.qt.io/official_releases/vsaddin/ http://download.qt.io/offic ...

随机推荐

  1. 实战小项目之IMX6 VPU使用

    项目简介 基于官方的demo进行修改,限于能力问题,并没有将功能代码完全从官方的demo中分离出来,还是基于原来的框架进行修改,做了一些简单的封装,我做的工作如下: 使用自己的采集程序 定义6中工作模 ...

  2. Gym100623A Access Control Lists

    Gym 100623A Access Control Lists 这个题很sb啊,就是去设置个交换机 我们可以给一个IP进行设置,也可以对一个网段就行设置,但是IP是优于网段的,比如样例的第一个 网段 ...

  3. 删除ARCSDE表空间和用户后,新建时出现error -1:O的解决办法

    对于刚开始使用arcsde的用户,可能会出现各种问题,慢慢来就会找到解决办法 当我们删除用户和表空间时,在服务器本地还保留这sde.dbf文件(删除时选择了删除本地文件,不知道为什么), 我们可以换一 ...

  4. 关于可图化序列的一点结论 NEU 1429

    Graphic Sequence A graphic sequence is a sequence of numbers which can be the degree sequence of som ...

  5. BZOJ2123 [Sdoi2013]森林 【主席树 + 启发式合并】

    题目 输入格式 第一行包含一个正整数testcase,表示当前测试数据的测试点编号.保证1≤testcase≤20. 第二行包含三个整数N,M,T,分别表示节点数.初始边数.操作数.第三行包含N个非负 ...

  6. Java EE 学习(8):IDEA + maven + spring 搭建 web(4)- 用户管理

    转载:Gaussic(一个致力于AI研究却不得不兼顾项目的研究生) 注:在阅读本文前,请先阅读: Java EE 学习(5):IDEA + maven + spring 搭建 web(1) ava E ...

  7. ios - 工具类

    这几天看项目,把俺旁边小哥哥的一个工具类相中了,希望对大家有所帮助哦~~~~~~~~~ // // PLZ_Tool.h // // Created by penglaizhi on 2017/7/3 ...

  8. Linux脚本中调用SQL,RMAN脚本

    Linux/Unix shell脚本中调用或执行SQL,RMAN 等为自动化作业以及多次反复执行提供了极大的便利,因此通过Linux/Unix shell来完成Oracle的相关工作,也是DBA必不可 ...

  9. Session 存储和失效方式

    Session 一般的操作是放在本地的Asp.net StatService上.实现进程隔离,方便Session操作,下面说说Session各属性. 1)不使用Session <sessionS ...

  10. js,add script async? loaded ok.

    function loadScript(url, callback){ var script = document.createElement_x("script") script ...