简单命令监控elasticsearch集群状态

原理：
使用curl命令模拟访问任意一个es节点可以反馈的集群状态，集群的状态需要为green
curl -sXGET http://serverip:9200/_cluster/health/?pretty

{
  "cluster_name" : "yunva-es",
  "status" : "green",
  "timed_out" : false,
  "number_of_nodes" : 7,
  "number_of_data_nodes" : 6,
  "active_primary_shards" : 66,
  "active_shards" : 132,
  "relocating_shards" : 0,
  "initializing_shards" : 0,
  "unassigned_shards" : 0,
  "delayed_unassigned_shards" : 0,
  "number_of_pending_tasks" : 0,
  "number_of_in_flight_fetch" : 0,
  "task_max_waiting_in_queue_millis" : 0,
  "active_shards_percent_as_number" : 100.0
}

前端使用了nginx验证，需要模拟登陆
curl模拟用户登录命令格式：
curl -u username:password -sXGET http://serverip:9200/_cluster/health/?pretty | grep "status"|awk -F '[ "]+' '{print $4}'

1.修改客户端zabbix配置：
vim /etc/zabbix/zabbix_agentd.conf

UserParameter=es_status,curl -u elkadmin:hSeC7ENeirAAPzv047m4 -sXGET http://serverip/_cluster/health/?pretty | grep "status"|awk -F '[ "]+' '{print $4}'|grep -c 'green'

重启zabbix-agent使配置生效
service zabbix-agent restart

在zabbix-server端测试
zabbix_get -s ip -p 10050 -k es_status

2.在zabbix的web页面添加对应的监控：

添加监控项item

Confuguration --> Hosts --> 找到对应的主机，点开 Items --> Create item


创建触发器：
Name
es_status_check
es_cluster_status is not green

3.针对es集群中的每个节点做进程监控，如果进程挂了自动重启

配置监控进程item

配置触发器

配置action，看参考

zabbix系列(九)zabbix3.0实现自动触发zabbix-agent端shell脚本任务

http://blog.csdn.net/reblue520/article/details/52315154

触发脚本：

/usr/local/zabbix-agent/scripts/start_es.sh

#!/bin/bash

# if elasticsearch exists kill it

source /etc/profile

count_es=`ps -ef|grep elasticsearch|grep -v grep|wc -l`

if [ $count_es -gt 1 ];then

    ps -ef|grep elasticsearch|grep -v grep|/bin/kill `awk '{print $2}'`

fi

# start it

su yunva -c "cd /data/elasticsearch-5.0.1/bin && /bin/bash elasticsearch &"

执行：
sudo /bin/bash /usr/local/zabbix-agent/scripts/start_es.sh
报错：
which: no java in (/sbin:/bin:/usr/sbin:/usr/bin)
Could not find any executable java binary. Please install java in your PATH or set JAVA_HOME

解决办法：
在脚本中添加
source /etc/profile

以root用户运行elasticsearch

报错：
can not run elasticsearch as root

网上的方法，针对elasticsearch5.1不起作用
解决方法1：
在执行elasticSearch时加上参数-Des.insecure.allow.root=true，完整命令如下

./elasticsearch -Des.insecure.allow.root=true  
解决办法2：
用vi打开elasicsearch执行文件，在变量ES_JAVA_OPTS使用前添加以下命令

ES_JAVA_OPTS="-Des.insecure.allow.root=true"

解决办法：
su yunva -c "cd /data/elasticsearch-5.0.1/bin && /bin/bash elasticsearch &"

自动拉起kibana服务的脚本：
cat /usr/local/zabbix/scripts/restart_kibana.sh
#!/bin/bash
# if kibana exists kill it

count_kibana=`ps -ef|grep kibana|grep -v grep|wc -l`
if [ $count_kibana -eq 1 ];then
    ps -ef|grep kibana|grep -v grep|/bin/kill `awk '{print $2}'`
fi
# start it

# 小小总结一下

.修改zabbix_agentd.conf文件打开远程shell命令

# egrep -v '^#|^$' /usr/local/zabbix_agents_3.2.0/scripts/conf/zabbix_agentd.conf 

EnableRemoteCommands=

UnsafeUserParameters=

# 打开zabbix的命令

echo "Defaults:zabbix !requiretty" >> /etc/sudoers

zabbix ALL=(ALL) NOPASSWD: ALL >> /etc/sudoers

.监控命令

UserParameter=es_status,curl -sXGET http://172.16.0.230:9200/_cluster/health/?pretty | grep "status"|awk -F '[ "]+' '{print $4}'|grep -c 'green'

UserParameter=es_debug,sudo /bin/find /opt/elasticsearch-5.6. -name hs_err_pid*.log -o -name java_pid*.hprof|wc -l
# 默认的端口监控可能出问题，替换为如下命令

UserParameter=net.tcp.listen.grep[*],grep -q $(printf '%04X.00000000:0000.0A' $)  /proc/net/tcp ;if [ $? -eq  ];then echo ;else grep -q "$(printf '%04X 0000000000000000000000 0000000000:0000 0A' $1)" /proc/net/tcp6;if [ $? -eq  ];then echo ;else echo ;fi;fi

.当出现java内存溢出时触发重启elasticsearch的脚本

# vim /usr/local/zabbix_agents_3.2.0/scripts/start_es.sh

#!/bin/bash

# if elasticsearch exists kill it

source /etc/profile

# 删除java报错产生的文件

/usr/bin/sudo /bin/find /opt/elasticsearch-5.6. -name hs_err_pid*.log -o -name java_pid*.hprof | xargs rm -f

# kill并重新启动elasticsearch

count_es=`ps -ef|grep elasticsearch|grep -v grep|wc -l`

if [ $count_es -ge  ];then

    ps -ef|grep elasticsearch|grep -v grep|/bin/kill - `awk '{print $2}'`

fi

# start it

su elasticsearch -c "cd /opt/elasticsearch-5.6.15/bin && /bin/bash elasticsearch -d"

.监控模板

<?xml version="1.0" encoding="UTF-8"?>

<zabbix_export>

    <version>3.2</version>

    <date>--09T06::18Z</date>

    <groups>

        <group>

            <name>Templates</name>

        </group>

    </groups>

    <templates>

        <template>

            <template>es_cluster_monitor</template>

            <name>es_cluster_monitor</name>

            <description/>

            <groups>

                <group>

                    <name>Templates</name>

                </group>

            </groups>

            <applications/>

            <items>

                <item>

                    <name>es_debug</name>

                    <type></type>

                    <snmp_community/>

                    <multiplier></multiplier>

                    <snmp_oid/>

                    <key>es_debug</key>

                    <delay></delay>

                    <history></history>

                    <trends></trends>

                    <status></status>

                    <value_type></value_type>

                    <allowed_hosts/>

                    <units/>

                    <delta></delta>

                    <snmpv3_contextname/>

                    <snmpv3_securityname/>

                    <snmpv3_securitylevel></snmpv3_securitylevel>

                    <snmpv3_authprotocol></snmpv3_authprotocol>

                    <snmpv3_authpassphrase/>

                    <snmpv3_privprotocol></snmpv3_privprotocol>

                    <snmpv3_privpassphrase/>

                    <formula></formula>

                    <delay_flex/>

                    <params/>

                    <ipmi_sensor/>

                    <data_type></data_type>

                    <authtype></authtype>

                    <username/>

                    <password/>

                    <publickey/>

                    <privatekey/>

                    <port/>

                    <description/>

                    <inventory_link></inventory_link>

                    <applications/>

                    <valuemap/>

                    <logtimefmt/>

                </item>

                <item>

                    <name>es_status</name>

                    <type></type>

                    <snmp_community/>

                    <multiplier></multiplier>

                    <snmp_oid/>

                    <key>es_status</key>

                    <delay></delay>

                    <history></history>

                    <trends></trends>

                    <status></status>

                    <value_type></value_type>

                    <allowed_hosts/>

                    <units/>

                    <delta></delta>

                    <snmpv3_contextname/>

                    <snmpv3_securityname/>

                    <snmpv3_securitylevel></snmpv3_securitylevel>

                    <snmpv3_authprotocol></snmpv3_authprotocol>

                    <snmpv3_authpassphrase/>

                    <snmpv3_privprotocol></snmpv3_privprotocol>

                    <snmpv3_privpassphrase/>

                    <formula></formula>

                    <delay_flex/>

                    <params/>

                    <ipmi_sensor/>

                    <data_type></data_type>

                    <authtype></authtype>

                    <username/>

                    <password/>

                    <publickey/>

                    <privatekey/>

                    <port/>

                    <description/>

                    <inventory_link></inventory_link>

                    <applications/>

                    <valuemap/>

                    <logtimefmt/>

                </item>

                <item>

                    <name>es_9200</name>

                    <type></type>

                    <snmp_community/>

                    <multiplier></multiplier>

                    <snmp_oid/>

                    <key>net.tcp.listen.grep[]</key>

                    <delay></delay>

                    <history></history>

                    <trends></trends>

                    <status></status>

                    <value_type></value_type>

                    <allowed_hosts/>

                    <units/>

                    <delta></delta>

                    <snmpv3_contextname/>

                    <snmpv3_securityname/>

                    <snmpv3_securitylevel></snmpv3_securitylevel>

                    <snmpv3_authprotocol></snmpv3_authprotocol>

                    <snmpv3_authpassphrase/>

                    <snmpv3_privprotocol></snmpv3_privprotocol>

                    <snmpv3_privpassphrase/>

                    <formula></formula>

                    <delay_flex/>

                    <params/>

                    <ipmi_sensor/>

                    <data_type></data_type>

                    <authtype></authtype>

                    <username/>

                    <password/>

                    <publickey/>

                    <privatekey/>

                    <port/>

                    <description/>

                    <inventory_link></inventory_link>

                    <applications/>

                    <valuemap/>

                    <logtimefmt/>

                </item>

                <item>

                    <name>es_9300</name>

                    <type></type>

                    <snmp_community/>

                    <multiplier></multiplier>

                    <snmp_oid/>

                    <key>net.tcp.listen.grep[]</key>

                    <delay></delay>

                    <history></history>

                    <trends></trends>

                    <status></status>

                    <value_type></value_type>

                    <allowed_hosts/>

                    <units/>

                    <delta></delta>

                    <snmpv3_contextname/>

                    <snmpv3_securityname/>

                    <snmpv3_securitylevel></snmpv3_securitylevel>

                    <snmpv3_authprotocol></snmpv3_authprotocol>

                    <snmpv3_authpassphrase/>

                    <snmpv3_privprotocol></snmpv3_privprotocol>

                    <snmpv3_privpassphrase/>

                    <formula></formula>

                    <delay_flex/>

                    <params/>

                    <ipmi_sensor/>

                    <data_type></data_type>

                    <authtype></authtype>

                    <username/>

                    <password/>

                    <publickey/>

                    <privatekey/>

                    <port/>

                    <description/>

                    <inventory_link></inventory_link>

                    <applications/>

                    <valuemap/>

                    <logtimefmt/>

                </item>

                <item>

                    <name>es_process</name>

                    <type></type>

                    <snmp_community/>

                    <multiplier></multiplier>

                    <snmp_oid/>

                    <key>proc.num[,,all,elasticsearch]</key>

                    <delay></delay>

                    <history></history>

                    <trends></trends>

                    <status></status>

                    <value_type></value_type>

                    <allowed_hosts/>

                    <units/>

                    <delta></delta>

                    <snmpv3_contextname/>

                    <snmpv3_securityname/>

                    <snmpv3_securitylevel></snmpv3_securitylevel>

                    <snmpv3_authprotocol></snmpv3_authprotocol>

                    <snmpv3_authpassphrase/>

                    <snmpv3_privprotocol></snmpv3_privprotocol>

                    <snmpv3_privpassphrase/>

                    <formula></formula>

                    <delay_flex/>

                    <params/>

                    <ipmi_sensor/>

                    <data_type></data_type>

                    <authtype></authtype>

                    <username/>

                    <password/>

                    <publickey/>

                    <privatekey/>

                    <port/>

                    <description/>

                    <inventory_link></inventory_link>

                    <applications/>

                    <valuemap/>

                    <logtimefmt/>

                </item>

            </items>

            <discovery_rules/>

            <httptests/>

            <macros/>

            <templates/>

            <screens/>

        </template>

    </templates>

    <triggers>

        <trigger>

            <expression>{cms_uts_es:es_status.last()}&lt;&gt; and {cms_uts_es:es_status.last()}&lt;&gt; and {cms_uts_es:es_status.last()}&lt;&gt;</expression>

            <recovery_mode></recovery_mode>

            <recovery_expression/>

            <name>es cluster is not green</name>

            <correlation_mode></correlation_mode>

            <correlation_tag/>

            <url/>

            <status></status>

            <priority></priority>

            <description/>

            <type></type>

            <manual_close></manual_close>

            <dependencies/>

            <tags/>

        </trigger>

        <trigger>

            <expression>{cms_uts_es:proc.num[,,all,elasticsearch].last()}&lt; and {cms_uts_es:proc.num[,,all,elasticsearch].last()}&lt; and {cms_uts_es:proc.num[,,all,elasticsearch].last()}&lt;</expression>

            <recovery_mode></recovery_mode>

            <recovery_expression/>

            <name>es process was down</name>

            <correlation_mode></correlation_mode>

            <correlation_tag/>

            <url/>

            <status></status>

            <priority></priority>

            <description/>

            <type></type>

            <manual_close></manual_close>

            <dependencies/>

            <tags/>

        </trigger>

        <trigger>

            <expression>{cms_uts_es:net.tcp.listen.grep[].max(#)}=</expression>

            <recovery_mode></recovery_mode>

            <recovery_expression/>

            <name>es_9200 port down</name>

            <correlation_mode></correlation_mode>

            <correlation_tag/>

            <url/>

            <status></status>

            <priority></priority>

            <description/>

            <type></type>

            <manual_close></manual_close>

            <dependencies/>

            <tags/>

        </trigger>

        <trigger>

            <expression>{cms_uts_es:net.tcp.listen.grep[].max(#)}=</expression>

            <recovery_mode></recovery_mode>

            <recovery_expression/>

            <name>es_9300 port down</name>

            <correlation_mode></correlation_mode>

            <correlation_tag/>

            <url/>

            <status></status>

            <priority></priority>

            <description/>

            <type></type>

            <manual_close></manual_close>

            <dependencies/>

            <tags/>

        </trigger>

        <trigger>

            <expression>{cms_uts_es:es_debug.last()}&lt;&gt;</expression>

            <recovery_mode></recovery_mode>

            <recovery_expression/>

            <name>es_debug error</name>

            <correlation_mode></correlation_mode>

            <correlation_tag/>

            <url/>

            <status></status>

            <priority></priority>

            <description/>

            <type></type>

            <manual_close></manual_close>

            <dependencies/>

            <tags/>

        </trigger>

    </triggers>

</zabbix_export>

zabbix通过简单命令监控elasticsearch集群状态的更多相关文章

  1. zabbix通过简单shell命令监控elasticsearch集群状态

    简单命令监控elasticsearch集群状态 原理: 使用curl命令模拟访问任意一个es节点可以反馈的集群状态,集群的状态需要为green curl -sXGET http://serverip: ...

  2. 如何监控 Elasticsearch 集群状态？

    Marvel 让你可以很简单的通过 Kibana 监控 Elasticsearch.你可以实时查看你 的集群健康状态和性能,也可以分析过去的集群.索引和节点指标.

  3. 和我一起打造个简单搜索之ElasticSearch集群搭建

    我们所常见的电商搜索如京东,搜索页面都会提供各种各样的筛选条件,比如品牌.尺寸.适用季节.价格区间等,同时提供排序,比如价格排序,信誉排序,销量排序等,方便了用户去找到自己心里理想的商品. 站内搜索对 ...

  4. zabbix监控Elasticsearch集群

    本节以 zabbix 为例,介绍如何使用监控系统完成 Elasticsearch 的监控报警. github 上有好几个版本的 ESZabbix 仓库,都源自 Elastic 公司员工 unterge ...

  5. Prometheus监控elasticsearch集群（以elasticsearch-6.4.2版本为例）

    部署elasticsearch集群,配置文件可"浓缩"为以下: cluster.name: es_cluster node.name: node1 path.data: /app/ ...

  6. ElasticSearch集群状态查看命令大全

    Elasticsearch中信息很多,同时ES也有很多信息查看命令,可以帮助开发者快速查询Elasticsearch的相关信息. _cat $ curl localhost:9200/_cat =^. ...

  7. ElasticSearch集群状态查看命令大全(转)

    原文地址: https://blog.csdn.net/pilihaotian/article/details/52460747 Elasticsearch中信息很多,同时ES也有很多信息查看命令,可 ...

  8. Elasticsearch集群状态脚本及grafana监控面板导出的json文件

    脚本文件: #!/usr/bin/env python import datetime import time import urllib import json import urllib2 imp ...

  9. Elasticsearch集群状态查看命令

    _cat $ curl localhost:9200/_cat=^.^=/_cat/allocation/_cat/shards/_cat/shards/{index}/_cat/master/_ca ...

随机推荐

  1. Luogu 1514 引水入城 （搜索，动态规划）

    Luogu 1514 引水入城 (搜索,动态规划) Description 在一个遥远的国度,一侧是风景秀美的湖泊,另一侧则是漫无边际的沙漠.该国的行政区划十分特殊,刚好构成一个N行M列的矩形,如上图 ...

  2. CF741D Arpa’s letter-marked tree and Mehrdad’s Dokhtar-kosh paths

    CF741D Arpa’s letter-marked tree and Mehrdad’s Dokhtar-kosh paths 好像这个题只能Dsu On Tree? 有根树点分治 统计子树过x的 ...

  3. 【洛谷P1347】排序

    题目大意:给定 N 个变量和 M 个变量之间的偏序关系,问能否求出这 N 个变量之间的一个全序.若能,输出最少利用多少条已知信息即可求的结果,且输出该全序:若无解,输出到第几条已知信息可以判定无解:若 ...

  4. 【CH5302】金字塔 区间DP

    题目大意:给定一棵树,树上点有标记,给定一棵树的\(dfs\)序标记序列,求有多少种可能的子树形态.(子树之间有序) 这是一道区间计数类DP,涉及到树的\(dfs\)序. 这道题区间的划分点 \(k\ ...

  5. （转）JVM——Java虚拟机架构

    背景:最近开始忙着找工作了,把需要储备的知识再整理总结一遍!关于JVM的总结,是转自下面的连接.结合<深入理解java虚拟机>,看起来有更清晰的认识. 转载自:http://blog.cs ...

  6. Linux追加文件内容并在内容前加上该文件名（awk, FILENAME功能妙用）

    假如有三个文件file1.txt,file2.txt,file3.txt 每一个文件内容如下: 现在打算提取每一个文件字符为16的行,打印该行所有的内容.以及该文件名,并追加到file4.txt,则可 ...

  7. SQL Server 日期函数大全

    一.统计语句 1.--统计当前[>当天00点以后的数据] SELECT * FROM 表 WHERE CONVERT(Nvarchar, dateandtime, 111) = CONVERT( ...

  8. 方法重载（overroad）和方法覆盖（override）------java基础知识总结

    a.什么是方法重载?(同一个类中)方法重载是指在同一个类中,出现方法名相同,参数列表不同的情况. b.什么是方法覆盖?(子父类中)方法覆盖是指在子类中,出现和父类一模一样的方法声明的时候,会运行子类的 ...

  9. Hadoop生态圈-HUE环境部署

    Hadoop生态圈-HUE环境部署 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任.   一.HUE简介 1>.HUE的由来 HUE全称是HadoopUser Experienc ...

  10. linux配置无秘钥登陆

    linux配置无秘钥登陆 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 最近有点心烦,很少写博客了,后期的3个月里,估计更新的频率也不会太高,请见谅,今天给大家共享一下linux不 ...