一、前言

    很久没有更新博客,实在对不住大家。从10月份假期以后我就开始优化程序,来应对双11,这段时间确实很忙,不好意思。好在优化效果还不错,我负责的模块在双11期间没有任何大问题,整体效果还是比较好的,直到本周才正真的做到解放。扯淡过后,这里我还是开始我们监控篇,监控有些数据还是要借助于Kibana去观察的,我这边在暂时先放一下Kibana下篇咱们探讨下,这里先只用Kibana去展示下我们监控的数据。我仔细思考了一下,可能这个系列还是不能很快的结束,还有很多很多要说的我感觉,比如Beats、源码方面的东西、还有些实战等等,当然这都是后话,先开始我们今天的主题,

二、Elasticsearch监控

    我们先来说下官方给我们提供接口,通过Kibana看图形化的界面也是通过这些接口实现的,所以我们先要了解这些接口,官方是通过_cat这个接口来提供对Elasticsearch监控的。这个里面包括了我们对集群状况、线程数、索引、节点等等我们想要监控到的指标,接下来我们来看一下这些接口。

    aliases

展示别名有关索引的别名的信息,包括过滤器和路由信息。这个地方我就不给大家展示例子了,因为这是本机环境没有建立别名,大家自己去尝试一下。这里我啰嗦下别名的作用,用来无缝切换索引,为什么要无缝切换索引,每天新增数据太多以后,为了避免数据库和索引里面数据不一样所以这里要每天重建一下索引,这里就是通过别名的方式去实现的。

   allocation

   每个节点上有多少分片以及分片使用了多少磁盘空间;这个format是指定格式,我比较喜欢看见json格式,另外还能指定排序的列,下面的例子会展示;

   

count

查询当前集群和单个索引文档的个数,查询单个索引的话在count后面加上索引的名字;

fielddata

展示每个分片上fielddata当前正在使用的堆内存量;

health

整个集群的健康状况;

indices

查询所有索引的状况,包括副本、文档数目、分配磁盘空间大小、健康状况等等;支持单个或者模糊查询多个索引的状况,后面跟随的s的参数就是可以根据那个列进行排序,可以支持多个列;

master

主节点情况;

nodeattrs

自定义节点的属性,我没有使用过;

nodes

每个节点使用的情况,包括CPU、磁盘空间、内存等等,可以指定想要监控的类型,如下在h后面指定想要监控的类型;

pending_tasks

等待执行任务的列表;

plugins

安装插件的列表;

recovery

查询索引分片恢复的状况,这个当节点出现故障时候才会使用;

repositories

集群中注册的快照的节点;

thread_pool

显示每个节点的线程池统计信息,默认情况下,返回线程池活跃,队列和拒绝统计信息。

shards

显示每个分片详情分布,分片告诉包含那些索引的主和副本、文档、磁盘大小等等信息;

segments

查询每个索引segment的详情,不了解segment的可以去看下前面的文章;

snapshots

查询快照信息;

templates

查询现有版本的信息;

三、使用X-Pack监控

   这里我们监控主要监控Elasticsearch和Logstash,具体安装步骤就参考下官方文档;X-Pack提供很多工具,Monitoring就是用来监控的,这个插件是免费的,我们安装好以后主要来看下我们需要注意的指标,介绍下这个工具的使用,Linux下的安装我就不给大家多说什么,网上一大把,Windows下给大家一个链接看看,这里强调几点:每个节点都必须安装x-pack;配置xpack.security.enabled : false以后可以进行免登陆,接下来我们来下看搭好以后整个Kibana界面;

整体状况:

节点状况:

这个页面可以查看每个索引的对应状况:

这个页面查看节点更详细内存分布:

这个页面查看每个索引的一些状况

另外还可以对Logstash监控更好的方便我们进行调优,现在还有很多基于Grafana去搞监控,做对比等等的,有机会可以搞一波,其实我也想在公司推广一下,办法很多,随意大家玩;

四、结束

  接下来会介绍下Kibana和Beats相关方面的东西,更新的频率也会多一些,又要到年底可以回顾下该年的收获,欢迎大家加群438836709,欢迎大家关注我公众号!

Elastic Stack-Elasticsearch使用介绍(六)的更多相关文章

  1. Elastic Stack之ElasticSearch分布式集群二进制方式部署

    Elastic Stack之ElasticSearch分布式集群二进制方式部署 作者:尹正杰  版权声明:原创作品,谢绝转载!否则将追究法律责任. 想必大家都知道ELK其实就是Elasticsearc ...

  2. ES 集中式日志分析平台 Elastic Stack(介绍)

    一.ELK 介绍 ELK 构建在开源基础之上,让您能够安全可靠地获取任何来源.任何格式的数据,并且能够实时地对数据进行搜索.分析和可视化. 最近查看 ELK 官方网站,发现新一代的日志采集器 File ...

  3. 集中式日志分析平台 Elastic Stack(介绍)

    一.ELK 介绍 二.ELK的几种常见架构 >>ELK 介绍<< ELK 构建在开源基础之上,让您能够安全可靠地获取任何来源.任何格式的数据,并且能够实时地对数据进行搜索.分析 ...

  4. Elastic Stack(ElasticSearch 、 Kibana 和 Logstash) 实现日志的自动采集、搜索和分析

    Elastic Stack 包括 Elasticsearch.Kibana.Beats 和 Logstash(也称为 ELK Stack).能够安全可靠地获取任何来源.任何格式的数据,然后实时地对数据 ...

  5. Elastic Stack之ElasticSearch分布式集群yum方式搭建

    Elastic Stack之ElasticSearch分布式集群yum方式搭建 作者:尹正杰  版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.搜索引擎及Lucene基本概念 1>.什么 ...

  6. Elastic Stack核心产品介绍-Elasticsearch、Logstash和Kibana

    Elastic Stack 是一系列开源产品的合集,包括 Elasticsearch.Kibana.Logstash 以及 Beats 等等,能够安全可靠地获取任何来源.任何格式的数据,并且能够实时地 ...

  7. 浅尝 Elastic Stack (一) Elasticsearch、Kibana、Beats 安装

    Elastic Stack 包括 Elasticsearch.Kibana.Beats 和 Logstash,也称为 ELK Stack.能够安全可靠地获取任何来源.任何格式的数据,然后实时地对数据进 ...

  8. ELK stack elasticsearch/logstash/kibana 关系和介绍

    ELK stack elasticsearch 后续简称ES logstack 简称LS kibana 简称K 日志分析利器 elasticsearch 是索引集群系统 logstash 是日志归集集 ...

  9. Elastic Stack之kibana使用

    Elastic Stack之kibana使用 作者:尹正杰  版权声明:原创作品,谢绝转载!否则将追究法律责任. 本篇博客数据流走向:FileBeat ===>Redis  ===>log ...

  10. Elastic stack ——X-Pack安装

    X-Pack是一个Elastic Stack的扩展,将安全,警报,监视,报告和图形功能包含在一个易于安装的软件包中.在Elasticsearch 5.0.0之前,您必须安装单独的Shield,Watc ...

随机推荐

  1. Git让你从入门到精通,看这一篇就够了!

    简介 Git 是什么? Git 是一个开源的分布式版本控制系统. 什么是版本控制? 版本控制是一种记录一个或若干文件内容变化,以便将来查阅特定版本修订情况的系统. 什么是分布式版本控制系统? 介绍分布 ...

  2. 超级简单!把文档转换成网页格式(Core)

    因为需要把好多的文档放在服务器上访问,最开始是使用第3方网站www.aconvert.com,这个其实也挺方便的, 最后由于一些需求原因,最终只有依靠代码来进行,以下是简化后的代码 创建一个控制台应用 ...

  3. JavaScript 执行机制

    一.宏任务与微任务 macro-task(宏任务):包括整体代码script,setTimeout,setInterval micro-task(微任务):Promise,process.nextTi ...

  4. C语言随机数使用方法

    随机数在编程中还是有所应用,最近从网上学习到这方面一点知识,想把它写下来.一.使用随机数所需要的头文件和函数:        头文件:cstdlib(C++ 的 standard libraray)  ...

  5. unity中ScriptableObject在assetbundle中的加载

    转载请标明出处:http://www.cnblogs.com/zblade/ 以前都是写一些个人的调研博客,从今天开始,也写一些个人在开发中遇到的一些可以分享的趟坑博客,为后续的开发人员提供一些绵薄之 ...

  6. k8s源码分析准备工作 - 源码准备

    本文原始地址:https://farmer-hutao.github.io/k8s-source-code-analysis/ 项目github地址:https://github.com/farmer ...

  7. C#工具:WPF生成图片验证码

    1.使用ImageFormatConvertHelper using System; using System.Collections.Generic; using System.Drawing; u ...

  8. cordova+vue打包webapp

    使用cordova+vue打包webapp,可以快速给网页套上一个android和ios壳子,完成一个app的开发. 1. 环境准备. (1)node.js  下载地址: https://nodejs ...

  9. [转]Uipath、BluePrism、AA产品对比之设计器篇

    本文转自:https://www.jianshu.com/p/53d0d33a1a35 版本说明: Uipath V2018.3.2,BluePrism V6.3,Automation Anywher ...

  10. 物联网RFID技术之应用ETC系统

    背景 信息物理系统CPS通过集成先进的感知.计算.通 信.控制等信息技术和自动控制技术,构建了物理空间与信息空间中人. 机.物.环境.信息等要素相互映射.适时交互.高效协同的复杂系统, 实现系统内资源 ...