Elastic Stack-Elasticsearch使用介绍(六)
一、前言
很久没有更新博客,实在对不住大家。从10月份假期以后我就开始优化程序,来应对双11,这段时间确实很忙,不好意思。好在优化效果还不错,我负责的模块在双11期间没有任何大问题,整体效果还是比较好的,直到本周才正真的做到解放。扯淡过后,这里我还是开始我们监控篇,监控有些数据还是要借助于Kibana去观察的,我这边在暂时先放一下Kibana下篇咱们探讨下,这里先只用Kibana去展示下我们监控的数据。我仔细思考了一下,可能这个系列还是不能很快的结束,还有很多很多要说的我感觉,比如Beats、源码方面的东西、还有些实战等等,当然这都是后话,先开始我们今天的主题,
二、Elasticsearch监控
我们先来说下官方给我们提供接口,通过Kibana看图形化的界面也是通过这些接口实现的,所以我们先要了解这些接口,官方是通过_cat这个接口来提供对Elasticsearch监控的。这个里面包括了我们对集群状况、线程数、索引、节点等等我们想要监控到的指标,接下来我们来看一下这些接口。
aliases
展示别名有关索引的别名的信息,包括过滤器和路由信息。这个地方我就不给大家展示例子了,因为这是本机环境没有建立别名,大家自己去尝试一下。这里我啰嗦下别名的作用,用来无缝切换索引,为什么要无缝切换索引,每天新增数据太多以后,为了避免数据库和索引里面数据不一样所以这里要每天重建一下索引,这里就是通过别名的方式去实现的。
allocation
每个节点上有多少分片以及分片使用了多少磁盘空间;这个format是指定格式,我比较喜欢看见json格式,另外还能指定排序的列,下面的例子会展示;

count
查询当前集群和单个索引文档的个数,查询单个索引的话在count后面加上索引的名字;

fielddata
展示每个分片上fielddata当前正在使用的堆内存量;

health
整个集群的健康状况;

indices
查询所有索引的状况,包括副本、文档数目、分配磁盘空间大小、健康状况等等;支持单个或者模糊查询多个索引的状况,后面跟随的s的参数就是可以根据那个列进行排序,可以支持多个列;

master
主节点情况;
nodeattrs
自定义节点的属性,我没有使用过;
nodes
每个节点使用的情况,包括CPU、磁盘空间、内存等等,可以指定想要监控的类型,如下在h后面指定想要监控的类型;

pending_tasks
等待执行任务的列表;
plugins
安装插件的列表;
recovery
查询索引分片恢复的状况,这个当节点出现故障时候才会使用;
repositories
集群中注册的快照的节点;
thread_pool
显示每个节点的线程池统计信息,默认情况下,返回线程池活跃,队列和拒绝统计信息。
shards
显示每个分片详情分布,分片告诉包含那些索引的主和副本、文档、磁盘大小等等信息;
segments
查询每个索引segment的详情,不了解segment的可以去看下前面的文章;
snapshots
查询快照信息;
templates
查询现有版本的信息;
三、使用X-Pack监控
这里我们监控主要监控Elasticsearch和Logstash,具体安装步骤就参考下官方文档;X-Pack提供很多工具,Monitoring就是用来监控的,这个插件是免费的,我们安装好以后主要来看下我们需要注意的指标,介绍下这个工具的使用,Linux下的安装我就不给大家多说什么,网上一大把,Windows下给大家一个链接看看,这里强调几点:每个节点都必须安装x-pack;配置xpack.security.enabled : false以后可以进行免登陆,接下来我们来下看搭好以后整个Kibana界面;
整体状况:


节点状况:

这个页面可以查看每个索引的对应状况:

这个页面查看节点更详细内存分布:

这个页面查看每个索引的一些状况


另外还可以对Logstash监控更好的方便我们进行调优,现在还有很多基于Grafana去搞监控,做对比等等的,有机会可以搞一波,其实我也想在公司推广一下,办法很多,随意大家玩;
四、结束
接下来会介绍下Kibana和Beats相关方面的东西,更新的频率也会多一些,又要到年底可以回顾下该年的收获,欢迎大家加群438836709,欢迎大家关注我公众号!

Elastic Stack-Elasticsearch使用介绍(六)的更多相关文章
- Elastic Stack之ElasticSearch分布式集群二进制方式部署
Elastic Stack之ElasticSearch分布式集群二进制方式部署 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 想必大家都知道ELK其实就是Elasticsearc ...
- ES 集中式日志分析平台 Elastic Stack(介绍)
一.ELK 介绍 ELK 构建在开源基础之上,让您能够安全可靠地获取任何来源.任何格式的数据,并且能够实时地对数据进行搜索.分析和可视化. 最近查看 ELK 官方网站,发现新一代的日志采集器 File ...
- 集中式日志分析平台 Elastic Stack(介绍)
一.ELK 介绍 二.ELK的几种常见架构 >>ELK 介绍<< ELK 构建在开源基础之上,让您能够安全可靠地获取任何来源.任何格式的数据,并且能够实时地对数据进行搜索.分析 ...
- Elastic Stack(ElasticSearch 、 Kibana 和 Logstash) 实现日志的自动采集、搜索和分析
Elastic Stack 包括 Elasticsearch.Kibana.Beats 和 Logstash(也称为 ELK Stack).能够安全可靠地获取任何来源.任何格式的数据,然后实时地对数据 ...
- Elastic Stack之ElasticSearch分布式集群yum方式搭建
Elastic Stack之ElasticSearch分布式集群yum方式搭建 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.搜索引擎及Lucene基本概念 1>.什么 ...
- Elastic Stack核心产品介绍-Elasticsearch、Logstash和Kibana
Elastic Stack 是一系列开源产品的合集,包括 Elasticsearch.Kibana.Logstash 以及 Beats 等等,能够安全可靠地获取任何来源.任何格式的数据,并且能够实时地 ...
- 浅尝 Elastic Stack (一) Elasticsearch、Kibana、Beats 安装
Elastic Stack 包括 Elasticsearch.Kibana.Beats 和 Logstash,也称为 ELK Stack.能够安全可靠地获取任何来源.任何格式的数据,然后实时地对数据进 ...
- ELK stack elasticsearch/logstash/kibana 关系和介绍
ELK stack elasticsearch 后续简称ES logstack 简称LS kibana 简称K 日志分析利器 elasticsearch 是索引集群系统 logstash 是日志归集集 ...
- Elastic Stack之kibana使用
Elastic Stack之kibana使用 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 本篇博客数据流走向:FileBeat ===>Redis ===>log ...
- Elastic stack ——X-Pack安装
X-Pack是一个Elastic Stack的扩展,将安全,警报,监视,报告和图形功能包含在一个易于安装的软件包中.在Elasticsearch 5.0.0之前,您必须安装单独的Shield,Watc ...
随机推荐
- 技能提升丨Seacms 8.7版本SQL注入分析
有些小伙伴刚刚接触SQL编程,对SQL注入表示不太了解.其实在Web攻防中,SQL注入就是一个技能繁杂项,为了帮助大家能更好的理解和掌握,今天小编将要跟大家分享一下关于Seacms 8.7版本SQL注 ...
- Oracle和Mysql获取uuid的方法对比
场景:orm框架用mybatis,需要往数据库新增一条数据,用Oracle和mysql数据库分别需要怎么实现? mysql方法,用mysql提供的uuid函数 <insert id=" ...
- 每日分享!~ JavaScript中面试基础--1,数组检测的方式 2.传统事件绑定和W3C标准绑定事件的区别~
javaScript 那些方式中检测数据类型 typeof typeof isNaN // 结果是function 检测数组的几种方式 instanceof arr instanceof Array( ...
- 浏览器F12 waterfall性能检测详解详解
Queueing 是排队的意思 Stalled 是阻塞 请求访问该URL的主机是有并发和连接数限制的,必须要等之前的执行才能执行之后的,这段时间的耗时 DNS Lookup 是指域名解析所耗时间 I ...
- Tomcat 对 HTTP 协议的实现(上)
协议,直白的说就是存在一堆字节,按照协议指定的规则解析就能得出这堆字节的意义.HTTP 解析分为两个部分:解析请求头和请求体. 请求头解析的难点在于它没有固定长度的头部,也不像其他协议那样提供数据包长 ...
- js 获取上传视频的时长、大小、后缀名
参考资料:获取时长 var fileName = $("#sectionfileUpload").val(); //C:\fakepath\3.jpeg var exts = fi ...
- PHP基础笔记
今天一个阳光明媚的大周天,小崔百无聊赖的翻看着各种老旧的经典电影,无奈谁让自己是没女朋友的单身狗呢.闲来无事就记录一下PHP的一些基础知识吧! 1.PHP是什么? PHP是一种创建动态交互性站点的服务 ...
- 06 入门 - Web服务器
目录索引:<ASP.NET MVC 5 高级编程>学习笔记 开发和调试ASP.NET MVC程序,需要Web服务器的支持. Visual Studio 2012+开发环境提供了两种Web服 ...
- transform 的副作用
transform是一些效果的集合,主要是移动.旋转.缩放和倾斜这四种基本操作,还可以通过设置matrix矩阵来实现更复杂的效果. 变形transform可以实现2D和3D两种效果. 变形transf ...
- Hacking HackDay: Albania
概述: Name: HackDay: Albania Date release: 18 Nov 2016 Author: R-73eN Series: HackDay 下载: https://down ...