Windows下ELK-5.4.3环境搭建

Windows下ELK-5.4.3环境搭建

一、概述

ELK官网 https://www.elastic.co
ELK由Elasticsearch、Logstash和Kibana三部分组件组成；

Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。
Logstash是一个完全开源的工具，它可以对你的日志进行收集、分析，并将其存储供以后使用
kibana 是一个开源和免费的工具，它可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助您汇总、分析和搜索重要数据日志。

常见平台架构

ELK = Elasticsearch + Logstash + Kibana
EFK = Elasticsearch + Flume + Kibana

简单架构：
ELK+Redis
或
(Logstash/Flume)->(Kafka/Redis)->ES->Web

可更简单些：
Client(Filebeat) --> LogServer(Logstash-->Elasticsearch-->Kibana )
（可以不用Logstash,Filebeat直接输出到ES）

复杂架构：
数据采集层[离线/实时数据,MySQL/ES/Logstash/Flume]
->数据传输层[Kafka/Redis]
->数据缓存层[Storm->Kafka]
->计算存储层[离线计算(Kylin/Spark SQL/Impala/MR)、实时计算(Storm/Spark Streaming/Flink/Druid)、存储(ES/MySQL/Hbase/HDFS/Kudu)]
->应用层[Web/REST API]

二、下载安装ELK

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.4.3.tar.gz --no-check-certificate
wget https://artifacts.elastic.co/downloads/logstash/logstash-5.4.3.tar.gz --no-check-certificate
wget https://artifacts.elastic.co/downloads/kibana/kibana-5.4.3-windows-x86.zip --no-check-certificate

注意需要jdk8环境

三、修改配置

3.1.编辑ES配置文件：

// E:/elk/elasticsearch-5.4.3/config/elasticsearch.yml 

network.host:192.168.1.106
http.port: 9200

3.2.新建Logstash日志分析配置文件：

// E:\elk\logstash-5.4.3\config\logstash.conf

input {
    file {
		type => "nginx_access"
        path => "D:\nginx\logs\access.log"
    }
}
output {
    elasticsearch {
        hosts => ["192.168.1.106:9200"]
        index => "access-%{+YYYY.MM.dd}"
    }
    stdout {
        codec => json_lines
    }
}

3.3.编辑Kibana配置文件：

// E:/elk/kibana-5.4.3-windows-x86/config/kibana.yml

server.port: 5601
server.host: 192.168.1.106
elasticsearch.url: "http://192.168.1.106:9200"

四、启动

//启动ES
elasticsearch.bat 

//启动Logstash
logstash.bat -f  ../config/logstash.conf

//启动kibana
kibana.bat

五、验证

curl -XGET http://192.168.1.106:9200/
curl -XGET "http://192.168.1.106:9200/_search" -H 'Content-Type: application/json' -d'{"query": {"match_all": {}}}'

或浏览器分别访问
es: http://192.168.1.106:9200/
kibana: http://192.168.1.106:5601/

六、ES支持中文查询

elasticsearch-analysis-ik下载地址：
https://github.com/medcl/elasticsearch-analysis-ik/releases
下载elasticsearch-analysis-ik-5.4.3.zip解压到 elasticsearch-5.4.3\plugins\ik目录下
然后重启elasticsearch

验证

```shell
GET _search
{
  "query": {
    "match": {
      "message": "中华"
    }
  }
}

七、elasticsearch-head安装

elasticsearch-head是一个用于管理Elasticsearch的web前端插件

https://github.com/mobz/elasticsearch-head

运行环境准备NodeJS,Grunt

npm install -g grunt-cli
git clone git://github.com/mobz/elasticsearch-head.git
cd elasticsearch-head
npm install

7.1 修改elasticsearch.yml，增加跨域的配置(需要重启es才能生效)

http.cors.enabled: true

http.cors.allow-origin: "*"

7.2 编辑elasticsearch-head/Gruntfile.js，修改服务器监听地址，connect节点增加hostname属性，将其值设置为*

connect: {
	server: {
		options: {
			hostname:'*',
			port: 9100,
			base: '.',
			keepalive: true
		}
	}
}

7.2 编辑elasticsearch-head/_site/app.js,

修改默认es地址http://localhost:9200/为http://192.168.1.106:9200/, 也可以不修改。

7.3 启动

npm run start

浏览器打开http://192.168.1.106:9100/

七、参考资料

Logstash 最佳实践
http://udn.yyuap.com/doc/logstash-best-practice-cn/index.html

Elasticsearch 权威指南
 http://www.learnes.net/

Kibana 中文指南
https://kibana.logstash.es/content/

Win 10 ELK（5.4.1） 环境搭建与基本使用与 Expected one of # 解决办法
http://blog.csdn.net/wangming520liwei/article/details/73213438

基于Flume+Kafka+ Elasticsearch+Storm的海量日志实时分析平台
http://blog.csdn.net/ddcowboy/article/details/54617740

Elasticsearch之elasticsearch5.x 新特性
http://www.cnblogs.com/zlslch/p/6619089.html

Elasticsearch5.3 安装问题集锦
http://blog.csdn.net/u013365215/article/details/70159141

elasticsearch5.3支持中文内容查询
http://www.cnblogs.com/xiaofei1205/p/6709964.html

centos7.2部署最新ELK 5.3
http://www.cnblogs.com/xiaofei1205/p/6699475.html

elasticsearch5.3安装插件head
http://www.cnblogs.com/xiaofei1205/p/6704239.html

elasticsearch5.3.0安装以及与基于jupyter notebook 的spark交互
http://blog.csdn.net/Xmo_jiao/article/details/73251937

[大数据]-Elasticsearch5.3.1+Kibana5.3.1从单机到分布式的安装与使用<1>
http://www.cnblogs.com/NextNight/p/6826621.html

[大数据]-Elasticsearch5.3.1+Kibana5.3.1从单机到分布式的安装与使用<2>
http://www.cnblogs.com/NextNight/p/6829923.html

[大数据]-Elasticsearch5.3.1 IK分词，同义词/联想搜索设置
http://www.cnblogs.com/NextNight/p/6837407.html

怒写一篇基于Windows10的最新ElasticSearch5.3的搜索引擎的开发博客（一）
http://blog.csdn.net/u014460701/article/details/69425161

ElasticSearch 5.3——单台服务器多节点
http://blog.csdn.net/zwyjg/article/details/70739690

elasticsearch5.3.0+kibana5.3.0+logstash5.3.0搜索windows环境搭建
http://blog.csdn.net/xr568897472/article/details/71122807

ELK5.1搭建过程(ElasticSearch, Logstash, Kibana)
http://blog.csdn.net/hemin1003/article/details/73295303

ElasticSearch5.3.2+LogStash+Kibana+Redis日志管理平台搭建
http://blog.csdn.net/chenzenan/article/details/71126732

使用kibana+logstash+elasticsearch+redis搭建分布式日志收集、分析、查询系统。
http://blog.csdn.net/zhangxtn/article/details/53695736

聊聊Flume和Logstash的那些事儿
http://www.jianshu.com/p/349ed5ee6419

基于Spark的公安大数据实时运维技术实践
(使用Flume+Logstash+Kafka+Spark Streaming进行实时日志处理分析)
http://geek.csdn.net/news/detail/132138

Flume日志采集系统——初体验（Logstash对比版）
http://www.cnblogs.com/xing901022/p/5631445.html

实战ElasticStack
https://huoding.com/2016/12/11/566

CentOS7下Elastic Stack 5.0日志分析系统搭建
http://www.tuicool.com/articles/VbmMFnu

Elasticsearch5和head最新插件学习，JavaAPI demo
http://blog.csdn.net/lanqibaoer/article/details/73526549

richaaaard的ElasticSearch专题
http://www.cnblogs.com/richaaaard/category/783901.html

dm_vincent的ElasticSearch专栏
http://blog.csdn.net/dm_vincent/article/category/2718099

ELK笔记
http://www.cnblogs.com/MYSQLZOUQI/p/5849604.html