# ELK日志搜集平台解决方案
---
---
---
1. 硬件设备
2. 系统环境
3. elasticsearch 集群部署
4. kibana 部署
5. logstash 部署
6. filebeat 部署
7. 平台边界
8. 资料搜集

## 硬件设备
```
1. cpu: Intel(R) Pentium(R) CPU G3220 @ 3.00GHz 双核
2. memory: 8G
```
## 系统环境
```
1. centos 7
2. java8
```
### 系统环境准备(elasticsearch对系统资源要求)
1. 修改进程所需要内存区域
elasticsearch 5以上版本需要至少262144

```
sysctl -w vm.max_map_count=262144
```
2. 修改指定用户打开文件限制(elasticsearch对系统资源要求)

```
sudo vim /etc/security/limits.conf
redhat hard nofile 65536
redhat soft nofile 65536

- redhat 用户名
- soft 指的是当前系统生效的设置值
- hard 表明系统中所能设定的最大值
- soft 的限制不能比har 限制高
- nofile 打开文件数目
```

## elasticsearch集群部署

### 所需机器

```
node95: root 192.168.100.95 123456 (默认先启动为master节点)
node96: root 192.168.100.96 123456
node97: root 192.168.100.97 123456

```
### 安装包下载
1. 地址:<https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.2.2.tar.gz>
2. 使用压缩包安装启动

### 修改配置文件(elasticsearch.yml)
1. cluster.name ---> 指定集群名字,集群中所有节点集群名字必须相同。
2. node.name ---> 节点名字
3. network.host ---> 绑定的ip地址,该ip地址必须是本机器存在ip地址。
4. http.port ---> HTTP协议端口
5. transport.tcp.port 节点间交互的tcp端口
6. discovery.zen.ping.unicast.hosts ---> 用于发现其他节点
7. discovery.zen.minimum_master_nodes ---> 用于最小master节点数 计算方法:节点总数/2+1
8. bootstrap.memory_lock ---> 是否锁定内存(boolean)
9. path.logs ---> 日志位置
10. path.data ---> 数据位置
11. 其它配置 ---> <http://www.cnblogs.com/hanyouchun/p/5163183.html>

### 本次部署配置
```
cluster.name: juxinli-test
node.name: node95
network.host: 192.168.100.95
discovery.zen.ping.unicast.hosts: ["192.168.100.95:9300","192.168.100.96:9300","192.168.100.97:9300"]
discovery.zen.minimum_master_nodes: 2
```
### jvm虚拟机设置(jvm.options)
```
-Xms2g ---> default
-Xmx2g ---> default
```
### 启动命令
```
1. ./bin/elasticsearch
2. ./bin/elasticsearch -d 后台启动
3. 不能用root用户启动
```
### 查询API
#### 节点信息查询

##### path:[_nodes] 主要用于验证节点是否已经启动开来

文档地址: <https://www.elastic.co/guide/en/elasticsearch/reference/current/cluster.html>

测试地址: <http://192.168.100.95:9200/_nodes>
#### 其它见API Document
<https://www.elastic.co/guide/en/elasticsearch/reference/current/docs-get.html>
## kibana 部署
### 下载地址
<https://artifacts.elastic.co/downloads/kibana/kibana-5.2.2-linux-x86_64.tar.gz>
### 文件配置(kibana.yml)

```
1. server.port ---> 端口
2. server.hos ---> 地址
3. elasticsearch.url ---> elasticsearch 地址
```
### 启动
```
./bin/kibana
```
## logstash 部署
### 下载地址
<https://artifacts.elastic.co/downloads/logstash/logstash-5.2.2.tar.gz>
### 配置文件(logstash.conf)
输入,输出,过滤详细情况见文档:
<https://www.elastic.co/guide/en/logstash/current/configuration.html>
### 启动
```
./bin/logstash -f ./config/logstash.conf
```
## filebeat部署
### 下载地址
<https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-5.2.2-linux-x86_64.tar.gz>
### 配置文件(filebeat.yml)
```
- input_type: log
paths:
- ./root/CrawLog
output.logstash:
hosts: ["192.168.100.96:5044"]
```
### 启动

```
sudo ./filebeat -e -c filebeat.yml
```
## 平台边界
### 日志输入规范
```
1. 输出文件路径: /root/CrawLog
2. 文件名: ${机构ID_订单ID_任务ID}_Log.%d{yyyy-MM-dd-HH}.log
3. 日志格式: %date{yyyy-MM-dd HH:mm:ss.SSS} %level [%thread][%file:%line] - %msg%n
```
### logstash 输入,过滤,输出 规范
```
input {
beats {
port => 5044
}
}

filter {
grok {
match => {
"source" => "/var/log/juxinli/(?<institutionId>[a-zA-Z0-9]*)_(?<indentId>[a-zA-Z0-9]*)_(?<taskId>[a-zA-Z0-9]*)"
}
}
}

output {
elasticsearch {
hosts => ["192.168.100.95:9200","192.168.100.96:9200","192.168.100.97:9200"]
manage_template => false
index => "%{taskId}-%{+YYYY.MM.dd}"
document_type => "%{[@metadata][type]}"
}
}

说明:
1. 输入HTTP端口 5044
2. 通过任务ID创建索引
3. 从路径中提取任务ID,机构ID,订单ID加入属性方便查询。
4. 过滤通过正则

```

### 查询层规范
```
1. 可以很直观通过kibana查询
2. 查询接口可以通过阅读elasticsearch的官方文档
3. 查询接口也可以通过分析kibana查询的http请求
```
## 资料搜集

1. 配置索引模版 - <http://blog.csdn.net/asia_kobe/article/details/51192848>
2. grok 在线正则地址 - <http://grokdebug.herokuapp.com/

ELK整体方案的更多相关文章

  1. 权限模块_整体方案说明_设计实体&映射实体_实现初始化权限数据的功能

    权限模块_整体方案说明 要点说明 权限就是控制功能的使用(功能对应着URL). 对功能的控制就是对URL的访问控制. 在我们的程序中,一个功能对应一个或两个URL: 1,例如列表或删除功能,只对应一个 ...

  2. NET 的 ELK 监控方案

    NET 的 ELK 监控方案 https://www.jianshu.com/p/3c26695cfc38 背景就不多说了,谁家没有个几个十系统在跑啊.如何监控这几十个系统的运行状况,对于非运营人员来 ...

  3. ELK学习笔记之F5 DNS可视化让DNS运维更安全更高效-F5 ELK可视化方案系列(3)

    0x00 概述 此文力求比较详细的解释DNS可视化所能带来的场景意义,无论是运维.还是DNS安全.建议仔细看完下图之后的大篇文字段落,希望能引发您的一些思考. 在“F5利用Elastic stack( ...

  4. 应用SuperIO(SIO)和开源跨平台物联网框架ServerSuperIO(SSIO)构建系统的整体方案

    SSIO的更新 在SSIO上增加了UDP通讯方式,可以到Github上下载源代码.在原来的项目中,远端的设备与中心站的数据交互并没有使用过UDP方式.这种短连接的通讯链路,不容易维护,主要体现在:(1 ...

  5. 【Vegas原创】VirtualBox扩容、分割的整体方案

    背景:在低压i7上跑vmware,卡顿无极限,决定转战virtual Box. 但是VirtualBox最讨厌的一点,就是vdi文件无法分割,平时习惯备份的我,百度网盘最大也就20G的上传.咋整? v ...

  6. ELK日志方案--使用Filebeat收集日志并输出到Kafka

    1,Filebeat简介 Filebeat是一个使用Go语言实现的轻量型日志采集器.在微服务体系中他与微服务部署在一起收集微服务产生的日志并推送到ELK. 在我们的架构设计中Kafka负责微服务和EL ...

  7. Spring Boot动态权限变更实现的整体方案

    1.前言 ​ 在Web项目中,权限管理即权限访问控制为网站访问安全提供了保障,并且很多项目使用了Session作为缓存,结合AOP技术进行token认证和权限控制.权限控制流程大致如下图所示: ​ 现 ...

  8. EEPlat PaaS 整体方案及技术原理

    EEPlat PaaS平台提供了基于元数据驱动的以配置为主的高速开发平台,同一时候提供了完整的多租户实现,各租户拥有自己的独立应用和数据库,租户间实现了应用和数据的全然隔离. EEPlat PaaS平 ...

  9. ELK日志分析方案

    针对公司项目微服务化,随着项目及服务器的不断增多,决定采用ELK(Elasticsearch+Logstash+Kibana)日志分析平台进行微服务日志分析. 1.ELK整体方案 1.1 ELK架构图 ...

随机推荐

  1. 分享jquery.cookie.js

    代码如下: /*! * jQuery Cookie Plugin v1.4.1 * https://github.com/carhartl/jquery-cookie * * Copyright 20 ...

  2. 第四章:JQuery选择器

    一.使用选择器的目的 从页面上的万万千千个元素中选择自己需要的. 二.选择器的分类 1.基本选择器 *:标签 *:类 *:ID 交集  AB   AB共同的部分    并集  A,B  AB使用相同的 ...

  3. #define宏与const的区别

    1.#define宏的用法 #define用宏名代替一个字符串,这样便于修改,提高了程序的可移植性.编译器在编译预处理时只对宏做文本替换,而不进行类型检查,所以替换后可能产生一些副作用. 带参数的宏类 ...

  4. Ionic2中集成第三方控件Sweetalert

    Ionic2混合开发,入坑系列:Ionic2中集成第三方控件Sweetalert 注:Sweetalert2已经可以直接从npm中下载安装 npm install --save sweetalert2 ...

  5. 屏幕适配基础——了解:ppi、dpi、px、sp、dp

    做android开发绕不开的几个名词:ppi.dpi.px.sp.dp.那么它们的定义.区别和联系都是什么呢?这篇博客系统的做一个概述和总结. 1.基本概念 px:pixel,像素,电子屏幕上组成一幅 ...

  6. 2017-2-18 net 输入输出语句

    控制台程序的创建,输出,输入语句,定义变量,变量赋值,值覆盖,值拼接,值打印两种数据类型,整形类型转换 知识点: 1.输出语句 Console.WriteLine("");光标换行 ...

  7. 成为一名合格的ERP实施顾问应该具备哪些修为

    要想成为一个合格ERP实施顾问,究竟需要点什么素质.请注意,这里的素质与技能是两码事,素质特别强调的是某种修养,技能可以速成,修养必须积累沉淀. 快速切入客户业务的能力 作为一个合格的ERP实施人员, ...

  8. mysql中的一些操作语句,留存

    CREATE TABLE `poision` ( `username` varchar(20) NOT NULL , `nowtime` varchar(50) NOT NULL , `poision ...

  9. Vmware虚拟机设置静态IP地址

    一.安装好虚拟后在菜单栏选择编辑→ 虚拟网络编辑器,打开虚拟网络编辑器对话框,选择Vmnet8 Net网络连接方式,随意设置子网IP,点击NAT设置页面,查看子网掩码和网关,后面修改静态IP会用到. ...

  10. Spark_总结五

    Spark_总结五 1.Storm 和 SparkStreaming区别 Storm                      纯实时的流式处理,来一条数据就立即进行处理 SparkStreaming ...