ELK---日志分析系统

ELK就是一套完整的日志分析系统

ELK=Logstash+Elasticsearch+Kibana

统一官网https://www.elastic.co/products

ELK模块说明

Logstash

作用：用于处理传入的日志，负责收集、过滤和写出日志

Logstash分为三个组件input，filter，output

输入input

常用file，redis，kafka

示例：

input

file {

path => ['/var/log/neutron/dhcp-agent.log']   //日志路径

tags => ['openstack','oslofmt', 'neutron', 'neutron-dhcp-agent']

start_position => "beginning"

type => "neutron"

codec => multiline {  //合并行

pattern => "^%{OPENSTACK_TRACE_BLOCK}"  //自定义变量

what => "previous"  //上一行合并，next下一行合并

}

}

input {

kafka {

zk_connect => "server:2181"

topic_id => "nova"

codec =>json

reset_beginning => false

consumer_threads => 2

decorate_events =>true

}

}

过滤filter

常用Date时间处理、Grok正则捕获、GeoIP地址查询

示例：

Fileter{

grok {

match => { "message" => "%{OPENSTACK_NORMAL}%{GREEDYDATA:message}"}

overwrite => ["message"]  //重写message

}

}

}

Grok内置变量

可以自定义变量

1．自定义变量路径

/opt/logstash/vendor/bundle/jruby/1.9/gems/logstash-patterns-core-2.0.2/patterns

2. 自定义变量存放在 /opt/logstash/patterns

在配置中添加

filter {

grok {

patterns_dir => ["/opt/logstash/patterns "]

match => { "message" => "%{OPENSTACK_NORMAL}%{GREEDYDATA:message}"}}

}

}

OPENSTACK_NORMAL ^%{TIMESTAMP_ISO8601:logdate} %{NUMBER:pid} %{LOGLEVEL:loglevel} %{NOTSPACE:module}%{SPACE}

2016-04-27 15:19:14.455 4392 DEBUG nova.api.openstack.wsgi [req-fde66cf0-6d28-4b0d-8671-bce33bb48665 0f288a5b5f19437db670ef94269bfd36 629fb63dd82e46fa937accc99d417059 - - -] Action: 'create', calling method: <bound methodServersController.createof<nova.api.openstack.compute.servers.ServersController object at 0x7c61d10>>, body: {"server": {"name": "test11", "imageRef": "c9620d95-fc3a-4090-b9e8-6c3909cc556e", "flavorRef": "100000000", "max_count": 1, "min_count": 1, "networks": [{"uuid": "e18f583f-c8cf-433a-8095-315712525ecd"}]}} _process_stack /usr/lib/python2.7/site-packages/nova/api/openstack/wsgi.py:789

output

常用Elasticserch、保存为文件、输出到HDFS、标准输出

示例：

output {

elasticsearch {

hosts=>["server:9200"]   //老版本为 host 新版本 hosts

document_type =>"%{type}"

workers => 2

index => "logstash-%{type}-%{+YYYY.MM.dd}"  //索引名称

}

}

output {

kafka {

bootstrap_servers => "server:9092"

topic_id => "nova"

compression_type => "snappy"

}

}

 

 

 

 

 

 

elasticsearch

用于将导入数据建立动态倒排索引，建立磁盘缓存，提供磁盘同步控制，达到准实时检索

DB 和 elasticsearch对比

Index索引

索引相当于数据库的一个库

Type

类型相当于数据库的一个表

Document

文档相当于数据库的一行数据

Filed

属性相当于数据库的一个字段

Mapping

映射理解为一种方案

查询方式

1. query-string

curl -XGET server:9200/logstash-nova-2016.04.27/nova/_search?q=pid.raw:1524'

2.DSL （常用）

curl -XGET server:9200/logstash-nova-2016.04.27/nova/_search -d '{

"query" : {

"term" : { "pid.raw " : "1524" }

}

}

GET  查询

POST 更新

PUT  创建

DELETE删除

HEAD获取基础信息

集群(Cluster)

ES集群是一个或多个节点的集合，它们共同存储了整个数据集，并提供了联合索引以及可跨所有节点的搜索能力。

ES集群需要修改配置文件

config/elasticsearch.yml

每台es机器的配置文件中 cluster.name相同，node.name不一致

ES集群内部实现HA，避免单点故障

集群内部自动选择一个主节点，监听node节点状态，如果发生故障提取节点副本分片，均衡分发给其他节点。

节点(Node)

运行了单个实例的ES主机称为节点，它是集群的一个成员，可以存储数据、参与集群索引及搜索操作。

分片(shard)

分片存储索引，一个索引可能会存在多个分片上。

Shard有两种类型：primary和replica，即主shard及副本shard。

Primary shard创建完成，其Primary shard的数量将不可更改，默认是5

Replica shard是Primary Shard的副本，用于冗余数据及提高搜索性能，默认是1。

说明：

Elasticsearch优化方案

1. 使用SSD 在elasticsearch.yml配置数据存放位置

path.data: /mnt/data/elasticsearch  #数据存在挂载硬盘 进行配置

1. 根据索引数量，调整分片数量
2. 根据实际情况调整内存
3. Elasticsearch mapping调整，有些默认设置可以禁用

Index中默认会有_all的域，这个会给查询带来方便，但是会增加索引时间和索引尺寸

"_all" : {"enabled" : false}

执行语句

PUT my_index

{

"mappings": {

"my_type": {

"_all": {

"enabled": false

}

}

}

}

Elasticsearch API说明

文档API: 提供对文档的增删改查操作

搜索API: 提供对文档进行某个字段的查询

索引API: 提供对索引进行操作

查看API: 按照更直观的形式返回数据，更适用于控制台请求展示

集群API: 对集群进行查看和操作的API

查询语法可以参考官网进行学习：

https://www.elastic.co/guide/en/elasticsearch/reference/current/index.html

安装elasticsearch head插件管理es

Kibana

用于获得elasticsearch的数据进行展示

应用

创建虚拟机的日志收集

Logstash   配置文件

input {

file {

path => ['/var/log/nova/nova-api.log']

tags => ['openstack','oslofmt', 'oslofmt', 'nova', 'nova-api']

start_position => "beginning"

type => "nova"

}

file {

path => ['/var/log/nova/nova-conductor.log']

tags => ['openstack', 'oslofmt', 'nova', 'nova-conductor']

start_position => "beginning"

type => "nova"

}

file {

path => ['/var/log/nova/nova-scheduler.log']

tags => ['openstack', 'oslofmt',  'nova', 'nova-scheduler']

start_position => "beginning"

type => "nova"

}

file {

path => ['/var/log/nova/nova-compute.log']

tags => ['openstack', 'oslofmt', 'nova', 'nova-compute']

start_position => "beginning"

type => "nova"

}

file {

path => ['/var/log/neutron/server.log']

tags => ['openstack','oslofmt', 'neutron', 'neutron-server']

start_position => "beginning"

type => "neutron"

}

}

filter {

mutate {

gsub => ['path', "/.+/", ""]

}

if "oslofmt" in [tags] {

grok {

match => { "message" => "%{OPENSTACK_NORMAL}%{GREEDYDATA:message}"}

overwrite => ["message"]

}

}

if "Traceback" in [message] or "File" in [message] or "RuntimeERROR" in [message] or "Command" in [message] or "Exit" in [message] or "Stdin" in [message]{

multiline {

pattern => "^%{GREEDYDATA}"

what => "previous"

}

}

date {

match => ["logdate", "yyyy-MM-dd HH:mm:ss.SSS",

"EEE MMM dd HH:mm:ss.SSSSSS yyyy",

"dd/MMM/yyyy:HH:mm:ss",

"dd-MMM-yyyy::HH:mm:ss",

"MMM dd HH:mm:ss",

"MMM  dd HH:mm:ss",

"yyyy-MM-dd HH:mm:ss.SSS"  ]

}

if [loglevel] in ["WARNING","WARN","TRACE", "ERROR"] {

mutate {

add_tag => ["something_wrong"]

}

}

}

output {

stdout { codec => rubydebug }

elasticsearch

{hosts=>["server:9200"]

document_type =>"%{type}"

workers => 16

index => "logstash-%{type}-%{+YYYY.MM.dd}"

}

}

Elasticsearch

按照模块query DSL 语句

nova-api

Curl-XGET"http://192.168.44.128:9200/logstash-nova-2016.04.27/nova/_search?pretty=true" -d

'{"query":

{"bool":

{"must":

[{"term":{"path.raw":"nova-api.log"}},{"query_string": {"default_field": "_all","query": "fde66cf0 783b26ba"}},

{"range": {"logdate.raw": {"gt": "2016-04-27 15:19:14.455","lt": "2016-04-27 15:19:21.999"}

}}]

}

}

}'

nova-scheduler

curl-XGET"http://192.168.44.128:9200/logstash-nova-2016.04.27/nova/_search?pretty=true" -d

'{"query":

{"bool":

{"must":

[{"term":

{"path.raw":"nova-scheduler.log"}},{"query_string": {"default_field": "_all","query": "fde66cf0"}}],

"must_not": [ ],"should": [ ]

}

}

}'

nova-conductor

curl-XGET"http://192.168.44.128:9200/logstash-nova-2016.04.27/nova/_search?pretty=true"  -d

'{"query":

{"bool":

{"must":

[{"term":

{"path.raw":"nova.conductor.log"}},

{"query_string":{"default_field":"_all","query":"fde66cf0"}}],

"must_not": [ ],

"should": [ ]

}

}

}'

nova-compute

curl-XGET"http://192.168.44.128:9200/logstash-nova-2016.04.27/nova/_search?pretty=true"  -d

'{"query":

{"bool":

{"must":

[{"term":

{"path.raw":"nova-compute.log"}},

{"query_string":

{"default_field":"_all","query":"fde66cf0"}},

{"range":

{"logdate.raw":{"gt":"2016-04-2715:19:10.000","lt": "2016-04-2715:25:07.981"}}}],

"must_not":

[{"term":{"module.raw":"oslo_service.periodic_task"}},

{"term":{"module.raw":"oslo_concurrency.lockutils"}},

{"term": {"module.raw": "keystoneclient.session"}}],

"should": [ ]

}

}

}'

server.log

curl-XGET"http://192.168.44.128:9200/logstash-neutron-2016.04.27/neutron/_search?pretty=true"  -d

'{"query":

{"bool":

{"must":

[{"term": {"path.raw": "server.log"}},

{"query_string":{"default_field":"_all","query":"783b26ba ed1db9be"}},

{"range":{"logdate.raw":{"gt":"2016-04-2715:19:10.000","lt": "2016-04-27 15:21:00.000"}

}

}]

}

}

}'