八.Kibana实践

选择绝对时间和相对时间

搜索

还可以添加相关信息

自动刷新页面时间,也可以关闭

创建图像,可视化

编辑Markdown,创建一个值班联系表

值班联系表

保存

再创建一个饼图;查看下状态码

保存

再来一个柱状图

保存为访问IP TOP5

添加展示

再添加一个折线图

保存为HTTP响应时间,Dashboard添加,然后保存

再添加一个统计,统计数量

选择system-syslog

保存为日志数据统计

Dashboard添加,然后保存

生产最好加一个Nginx用户认证,不能谁都能访问

管理监控和部署elasticsearch指南

https://www.elastic.co/guide/en/elasticsearch/guide/current/administration.html

生产建议在每个elasticsearch上跑一个kibana,每个kibana连接自己的elasticsearch,再搞一个Nginx,前端负载,做好会话保持

九.ElkStack上线规划

上线ELKstack前,先做好如下规范能更好的开启ELKstack之旅。

1.标准化:

1.路径规划:/data/logs/,/data/logs/access,/data/logs/error,/data/logs/run

2.格式要求:严格要求使用json

3.命名规则: access_log error_log runtime_log system_log

4.日志切割:按天,按小时。访问,错误,程序日志按小时,系统日志按天收集。

5.原始文本: rsync推送NAS,后删除最近三天前。

5.消息队列:访问日志,写入Redis_DB6,错误日志Redis_DB7,程序日志Redis_DB8

2.工具化:

1.访问日志  Apache、Nginx、Tomcat       (使用file插件)

2.错误日志  java日志、异常日志(使用mulitline多行插件)

3.系统日志/var/log/*、rsyslog         (使用syslog)

4.运行日志程序写入的日志文件(可使用file插件或json插件)

5.网络日志防火墙、交换机、路由器(syslog插件)

3.集群化:

1.每台ES上面都启动一个Kibana

2.Kibana都连自己的ES

3.前端Nginx负载均衡+验证,代理至后端Kibana

4.通过消息队列来实现程序解耦以及高可用等扩展

4.监控化:

1.对ES以及Kibana、进行监控。如果服务DOWN及时处理。

2.使用Redis的list作为ELKstack消息队列。

3.Redis的List Key长度进行监控(llen key_name)。例:超过"10万"即报警(根据实际情况以及业务情况)

5.迭代化:

1.开源日志分析平台:ELK、EFK、EHK、

2.数据收集处理:Flume、heka

3.消息队列:Redis、Rabbitmq、Kafka、Hadoop、webhdfs

日志分析工具ELK(五)的更多相关文章

  1. 日志分析工具ELK配置详解

    日志分析工具ELK配置详解 一.ELK介绍 1.1 elasticsearch 1.1.1 elasticsearch介绍 ElasticSearch是一个基于Lucene的搜索服务器.它提供了一个分 ...

  2. 日志分析工具ELK(一)

    一.ELK介绍 1.1 elasticsearch 1.1.1 elasticsearch介绍 ElasticSearch是一个基于Lucene的搜索服务器.它提供了一个分布式多用户能力的全文搜索引擎 ...

  3. 日志分析工具ELK(三)

    目前官网更新特别快,不到半年时间就更新了好几个版本,目前最新的是5.1 以下安装配置使用4.5版本的 https://www.elastic.co/guide/en/kibana/4.5/index. ...

  4. 日志分析工具ELK(二)

    五.Logstash日志收集实践 在学习Logstash之前,我们需要先了解以下几个基本概念: logstash收集日志基本流程: input-->codec-->filter--> ...

  5. 日志分析工具ELK(四)

    Logstash收集TCP日志 #Input plugins TCP插件 所需的配置选项 tcp { port =>... } [root@linux-node1 ~]# cat tcp.con ...

  6. Linux 日志分析工具之awstats

    一.awstats 是什么 官方网站:AWStats is a free powerful and featureful tool that generates advanced web, strea ...

  7. Eventlog Analyzer日志管理系统、日志分析工具、日志服务器的功能及作用

    Eventlog Analyzer日志管理系统.日志分析工具.日志服务器的功能及作用 Eventlog Analyzer是用来分析和审计系统及事件日志的管理软件,能够对全网范围内的主机.服务器.网络设 ...

  8. 5种mysql日志分析工具比拼

    5种mysql日志分析工具比拼 摘自: linux.chinaitlab.com  被阅读次数: 79 由 yangyi 于 2009-08-13 22:18:05 提供 mysql slow log ...

  9. 【转】gc日志分析工具

    性能测试排查定位问题,分析调优过程中,会遇到要分析gc日志,人肉分析gc日志有时比较困难,相关图形化或命令行工具可以有效地帮助辅助分析. Gc日志参数 通过在tomcat启动脚本中添加相关参数生成gc ...

随机推荐

  1. 详解Springboot中自定义SpringMVC配置

    详解Springboot中自定义SpringMVC配置 WebMvcConfigurer接口 ​ 这个接口可以自定义拦截器,例如跨域设置.类型转化器等等.可以说此接口为开发者提前想到了很多拦截层面的需 ...

  2. 粘包处理现象及其解决方案——基于NewLife.Net网络库的管道式帧长粘包处理方法

    [toc] #1.粘包现象 每个TCP 长连接都有自己的socket缓存buffer,默认大小是8K,可支持手动设置.粘包是TCP长连接中最常见的现象,如下图 socket缓存中有5帧(或者说5包)心 ...

  3. C - 饭卡

    电子科大本部食堂的饭卡有一种很诡异的设计,即在购买之前判断余额.如果购买一个商品之前,卡上的剩余金额大于或等于5元,就一定可以购买成功(即使购买后卡上余额为负),否则无法购买(即使金额足够).所以大家 ...

  4. java对象clone

    java克隆 为什么需要克隆 我们在很多时候需要使用一个对象去记录另外一个对象的当前状态,对象中可能会有很多属性,如果我们一个一个去设置,不仅不方便,而且效率很低,我们看一个初学者可能遇到的问题 cl ...

  5. jq ajax请求跨域问题

    前端遇到跨域一般和后端协调让后端:

  6. Vue里面提供的三大类钩子及两种函数

    在路由跳转的时候,我们需要一些权限判断或者其他操作.这个时候就需要使用路由的钩子函数. 定义:路由钩子主要是给使用者在路由发生变化时进行一些特殊的处理而定义的函数. 总体来讲vue里面提供了三大类钩子 ...

  7. P1198 [JSOI2008]最大数(线段树基础)

    P1198 [JSOI2008]最大数 题目描述 现在请求你维护一个数列,要求提供以下两种操作: 1. 查询操作. 语法:Q L 功能:查询当前数列中末尾L个数中的最大的数,并输出这个数的值. 限制: ...

  8. go 内存优化

    一.斐波那切数列优化 package main import ( "time" "fmt" ) const LIM = 41 var fibs [LIM]uin ...

  9. rancher 和 Kubernetes有什么区别?

    总体来说,Rancher和k8s都是用来作为容器的调度与编排系统.但是rancher不仅能够管理应用容器,更重要的一点是能够管理k8s集群.Rancher2.x底层基于k8s调度引擎,通过Ranche ...

  10. Python Request-学习笔记(1)

    #导入Requests模块:import requests # 然后,尝试获取某个网页.返回的是reaponse对象,可以从这个对象中获取所有我们想要的信息.response = requests.g ...