既有的Telegraf 关于MongoDB的输入插件很难实现对副本集节点状态的监控,副本集节点状态有 PRIMARY、SECONDARY、RECOVERYING、ARBITER 等。现在我们尝试通过 Exec Input Plugin 来实现对MongoDB状态的的监控。

第一部分 简单回顾下Zabbix的监控实现

1. Zabbix 执行的文件脚本如下:

  1. #!/bin/bash
  2. command_linebin="mongodb可执行文件路径/bin/mongo"
  3. replstatus="PRIMARY SECONDARY ARBITER"
  4. username="user"
  5. password="pwd"
  6.  
  7. command_line="${command_linebin} localhost:$1/admin -u$username -p$password"
  8. mcount=$(/bin/echo "rs.status().members.length" | $command_line --quiet)
  9. if [ $mcount -ge ] ;then
  10. ms1=$(/bin/echo "rs.status().members[0].stateStr" | $command_line --quiet)
  11. ms2=$(/bin/echo "rs.status().members[1].stateStr" | $command_line --quiet)
  12. ms3=$(/bin/echo "rs.status().members[2].stateStr" | $command_line --quiet)
  13.  
  14. if [[ $replstatus =~ $ms1 ]] && [[ $replstatus =~ $ms2 ]] && [[ $replstatus =~ $ms3 ]] ;then
  15. echo "The Status OK "
  16. else
  17. echo "The status of mongo replica is unnormal.port is " $
  18. fi
  19.  
  20. else
  21. ms1=$(/bin/echo "rs.status().members[0].stateStr" | $command_line --quiet)
  22. ms2=$(/bin/echo "rs.status().members[1].stateStr" | $command_line --quiet)
  23.  
  24. if [[ $replstatus =~ $ms1 ]] && [[ $replstatus =~ $ms2 ]] ;then
  25. echo "The Status OK "
  26. else
  27. echo "The status of mongo replica is unnormal.port is " $
  28. fi
  29.  
  30. fi

(文件中的执行输入参数是MongoDB的端口号)

2.异常告警界面;

第二部分 Telegraf 收集代理关于exec插件的实现

1.可执行命名文件为 test_mongodb.sh,具体脚本简化调整

  1. #!/bin/bash
  2. command_linebin="MongoDB可执行文件/bin/mongo"
  3. username="User"
  4. replstatus="PRIMARY SECONDARY ARBITER"
  5. password="PWD"
  6. port=
  7.  
  8. command_line="${command_linebin} localhost:$port/admin -u$username -p$password"
  9. mcount=$(/bin/echo "rs.status().members.length" | $command_line --quiet)
  10. if [ $mcount -ge ] ;then
  11. ms1=$(/bin/echo "rs.status().members[0].stateStr" | $command_line --quiet)
  12. ms2=$(/bin/echo "rs.status().members[1].stateStr" | $command_line --quiet)
  13. ms3=$(/bin/echo "rs.status().members[2].stateStr" | $command_line --quiet)
  14.  
  15. if [[ $replstatus =~ $ms1 ]] && [[ $replstatus =~ $ms2 ]] && [[ $replstatus =~ $ms3 ]] ;then
  16. echo "ReplStatus,tag=mongodb Status=1i"
  17. else
  18. echo "ReplStatus,tag=mongodb Status=2i"
  19. fi
  20.  
  21. else
  22. ms1=$(/bin/echo "rs.status().members[0].stateStr" | $command_line --quiet)
  23. ms2=$(/bin/echo "rs.status().members[1].stateStr" | $command_line --quiet)
  24.  
  25. if [[ $replstatus =~ $ms1 ]] && [[ $replstatus =~ $ms2 ]] ;then
  26. echo "ReplStatus,tag=mongodb Status=1i"
  27. else
  28. echo 'ReplStatus,tag=mongodb Status=2i'
  29.  
  30. fi
  31.  
  32. fi

文件所处的路径为  /etc/telegraf/test_mongodb.sh

2. telegraf.conf中关于exec input的配置如下;

3. 通过test命令测试,运行正常

  1. telegraf --config telegraf.conf --test

4.启动服务

  1. service telegraf start

5.登入到InfluxDB下查询验证收集的数据

(以上看似部署完毕,实际.....)

第三部 权限设置问题导致数据错误的分析与探究

仔细看上面的截图数据,问题出来了,明明调试过程中是 status为1,而保存到InfluxDB中status为2 了呢???

本来集群状态是OK的,结果判断为Error!!!! 针对此问题在网上搜索原因及方案,聚焦如下:

即怀疑为权限问题。

下面为具体的探究测试过程

step 1 我们从root 账号切换到 telegraf账号

但是 切换 不成功。

Step 2 查看telegraf账号信息

  1. cat /etc/passwd

(/bin/false什么也不做只是返回一个错误状态,然后立即退出。将用户的shell设置为/bin/false,用户会无法登录,并且不会有任何提示。)

Step 3 将登入属性设置为 /bin/bash,修改后如下;

step 4 再次 su 为 telegraf账号 ,查询当前连接的账号

此时切换成功了。

Step 5 在 telegraf 账号下,测试

此时 status=2 和我们开始在root 账号下此测试(status=1)是不一样的,也理解了为什么InfluxDB中数据为2的根源,确实和账号有关。

Step 6 调试 telegraf 调用的 test_mongodb.sh 文件

  1. sh -x test_mongodb.sh

部分报错信息如下:

  1. + ms2='SECONDARY
  2. --02T20::59.596+ E - [main] Error saving history file: FileOpenFailed: Unable to open() file /etc/telegraf/.dbshell: Unknown error'
  3. + [[ PRIMARY SECONDARY ARBITER =~ PRIMARY
  4. --02T20::59.468+ E - [main] Error saving history file: FileOpenFailed: Unable to open() file /etc/telegraf/.dbshell: Unknown error ]]
  5. + echo 'ReplStatus,tag=mongodb Status=2i'
  6. ReplStatus,tag=mongodb Status=2i

从上面的异常信息得知,直接错误原因是 不能在文件 /etc/telegraf/.dbshell 中保存历史数据。

其实在/etc/telegraf 没有看到这个 .dbshell 这个文件。查看显示所有的文件(包含隐藏文件)的 命令如下

  1. ll -a

那么如果我们手动创建.dbshell呢?

以下操作是在root账号下创建.dbshell 文件,并且将文件的拥有者调整为telegraf账号,具体的的命令如截图:

step 7 再次用telegraf账号运行  test_mongodb.sh 可执行文件

  1. sh -x test_mongodb.sh

此时没有出现异常,数据也正常了。

step 8 在telegraf账号下 用 telegraf 服务调试,此次运行和root账号一样了。

(此时没有出现异常,数据也正常了。)

Step 9 登入到InfluxDB中查看,由错误的2恢复了1。

第四部分 思考优化

(1)为什么root账号不需要手动创建.dbshel? 是不需要这个文件吗?如果需要有在那个目录下呢?

首先了解下 .dbshell 文件,它的基本解释是:“When you run the mongo client, it stores a history of commands in $HOME/.dbshell.”

从上面的解释可以看出,root账号应该也会产生.dbshell文件。

我们通过以下几步去找到root账号对应的.dbsehll 文件。

(2)如何优化telegraf的账号,不再需要手动创建文件?

推测:是不是给telegraf 账号赋予自身对应$HOME足够的权限就可以了。

测试如下;

step 1 找到账号对应的$home

step 2 删除前面测试创建的.dbshell 文件

Step 3 执行验证telegraf 测试命令,此时应该数据异常(切记;切换到telegraf 账号下执行)

step 4 在root账号将 $home 对应的目录(/etc/telegaf)拥有者转换给telegraf账号

step 5 再次执行 telegraf 测试命令

以上,测试验证数据给账号相应的$home文档服务相应的权限,也可以解决问题。

第五部分  告警展示

我们在Grafana中配置后,其显示界面如下:

第六部分 补充说明;

1.$HOME代表的路径是什么?

可以简单的理解为 :home是用户的主目录,登录后缺省进入的目录,提供一个用户专属的启动文件来定义该用户所用到的一些环境变量。

可用命令:

  1. echo $HOME

2.写入InfluxDB,应遵循以下格式:

  1. <measurement>[,<tag-key>=<tag-value>...] <field-key>=<field-value>[,<field2-key>=<field2-value>...] [unix-nano-timestamp]

如果格式不对,常见的错误如下:

  1. --02T08::13Z E! Error in plugin [inputs.exec]: metric parse error: expected field at offset : "XXXXXXXXXXXXXXXXXXXX\n"

本文版权归作者所有,未经作者同意不得转载,谢谢配合!!!

本文版权归作者所有,未经作者同意不得转载,谢谢配合!!!

本文版权归作者所有,未经作者同意不得转载,谢谢配合!!!

以实现MongoDB副本集状态的监控为例,看Telegraf系统中Exec输入插件如何编写部署的更多相关文章

  1. MongoDB副本集(一主两从)读写分离、故障转移功能环境部署记录

    Mongodb是一种非关系数据库(NoSQL),非关系型数据库的产生就是为了解决大数据量.高扩展性.高性能.灵活数据模型.高可用性.MongoDB官方已经不建议使用主从模式了,替代方案是采用副本集的模 ...

  2. MongoDB副本集功能及节点属性梳理

    副本集的主要功能 副本集是MongoDB高可用的基础,其主要作用 归纳为以下几点: (1)高可用,防止设备(服务器.网络)故障.提供自动FailOver功能. (2)无需配置高可用性虚拟节点:无论是S ...

  3. 006.MongoDB副本集

    一 MongoDB 复制(副本集) 1.1 复制概述 MongoDB复制是将数据同步在多个服务器的过程. 复制提供了数据的冗余备份,并在多个服务器上存储数据副本,提高了数据的可用性, 并可以保证数据的 ...

  4. MongoDB 副本集+分片 认证方式搭建

    MongoDB 副本集+分片 认证方式搭建 参考资料: https://www.cnblogs.com/ityouknow/p/7344005.htmlhttps://jorwen-fang.itey ...

  5. MongoDB副本集的实现与维护实战

    1.建立MongoDB副本集 现利用一台机器完成MongoDB副本集的建立 机器1:127.0.0.1:27017 机器2:127.0.0.1:27018 机器3:127.0.0.1:27019 在D ...

  6. MongoDB副本集学习(三):性能和优化相关

    Read Preferences/读写分离 有时候为了考虑应用程序的性能或响应性,为了提高读取操作的吞吐率,一个常见的措施就是进行读写分离,MongoDB副本集对读写分离的支持是通过Read Pref ...

  7. MongoDB 副本集管理(不定时更新)

    简介: 前面介绍完了副本集的搭建.用户的管理.参数和日常操作的说明,那副本集搭建好该如何管理呢?现在来说明下副本集的日常查看和管理. 说明: 1)查看命令行参数:db.serverCmdLineOpt ...

  8. MongoDB 副本集的原理、搭建、应用

    概念: 在了解了这篇文章之后,可以进行该篇文章的说明和测试.MongoDB 副本集(Replica Set)是有自动故障恢复功能的主从集群,有一个Primary节点和一个或多个Secondary节点组 ...

  9. MongoDB副本集学习(一):概述和环境搭建

    MongoDB副本集概述 以下图片摘自MongoDB官方文档:http://docs.mongodb.org/manual/core/replication-introduction/ Primary ...

随机推荐

  1. MVC中 跳转出某一个Area的方法

    1. return RedirectToRoute(new { Controller= "Home",Action="Index",Area="&qu ...

  2. xshell登陆Win10 Linux子系统

    原文:xshell登陆Win10 Linux子系统 版权声明:转载请注明出处 https://blog.csdn.net/anychenp/article/details/78922320 修改端口 ...

  3. matlab 矢量化编程(四)—— 标量函数转化为能够处理矢量的函数

    1. 组合的矢量实现 nchoosek(n, k) 的第二个参数在 matlab 下是不支持矢量化的,必须是标量形式.但 matlab 下的 gamma 函数,却可支持,矢量形式,又因为,gamma ...

  4. libev整体设计

    转自:http://m.blog.csdn.NET/blog/weiqubo/16355653 libev是Marc Lehmann用C写的高性能事件循环库.通过libev,可以灵活地把各种事件组织管 ...

  5. 【值转换器】 WPF中Image数据绑定Icon对象

    原文:[值转换器] WPF中Image数据绑定Icon对象        这是原来的代码:        <Image Source="{Binding MenuIcon}" ...

  6. CentOS 7.3 源码安装apache 2.4.16配置基于域名的虚拟主机

    主配置文件末尾添加一条配置: [root@vm2 ~]# vim /usr/local/apache/conf/httpd.conf Include conf/vhosts.conf 在conf目录下 ...

  7. 使注解@ContextConfiguration同时支持locations和classes

    @Configuration @ImportResource("classpath:META-INF/dataContext.xml") class TestConfig { } ...

  8. laravel 增删修改

    1.查 public function userTest(){ return $this->all(); } public function userTest(){ return $this-& ...

  9. iOS 自定义UIButton

    工作中有一个点击button更新button上文案的需求,用自定义了button可以很简单的实现的这个需求 首先写个自定义的button CustomButton.h #import <UIKi ...

  10. asp.net 验证正则表达式 精心整理

    asp.net 验证正则表达式 整数或者小数:^[0-9]+\.{0,1}[0-9]{0,2}$只能输入数字:"^[0-9]*$".只能输入n位的数字:"^\d{n}$& ...