最近在调研canal数据同步系统的监控方案,网上关于jmxtrans+influxdb+grafana监控kafka的文档很多,没有监控canal的.通过几天的摸索,大致明白了来龙去脉.监控流程基本是一样的,只在个别配置的地方稍有差异.记录一下,供别人参考,也顺便总结一下. 监控系统一般分为3部分,数据采集.数据存储.分析展示,分别对应于jmxtrans+influxdb+grafana的一部分 1.下载安装包 1.1 jmxtrans jmxtrans是一个通过jmx采集java应用的数据采集…

jmxtrans more tomcat.json  {  "servers" : [ {     "port" : "12345",    "host" : "129.0.1.229",    "queries" : [ {     "obj" : "java.lang:type=Memory",    "attr" : […

最近在搞Kafka集群监控,之前也是看了网上的很多资料.之所以使用jmxtrans+influxdb+grafana是因为界面酷炫,可以定制化,缺点是不能操作Kafka集群,可能需要配合Kafka Manager一起使用. 环境信息 CentOS Linux release 7.6.1810 (Core) jdk1.8.0_201 zookeeper-3.4.14 kafka_2.11-2.2.0 开启Kafka JMX端口 JMX(Java Management Extensions,即Jav…

jmxtrans 的版本必须 是jmxtrans-268.rpm 以上 如果kafka 为kafka_2.11-0.10.1.0 ,则在 jdk 1.7上使用 kafka_2.12-0.11.0.0 只能在jdk 1.8上使用…

一.总体效果图 这里是将集群全部放在一起,可以根据自己的审美看怎么放 二.监控指标 其中有些指标与第一篇Zookeeper通过四字命令基础监控(Zabbix)的四字命令的指标是有重复的,二者选一个则可 三.实现 1.influxdb的安装 1)设置yum源 cat <<EOF | sudo tee /etc/yum.repos.d/influxdb.repo [influxdb] name = InfluxDB Repository - RHEL \$releasever baseurl =…

以下演示一个简单的使用jmxexporter 暴露nexus jmx 指标为prometheus metrics,同时也集成了一个简单的jmxtrans 输出数据到 graphite 环境准备 docker-compose 文件   version: "3" services: graphite: image: graphiteapp/graphite-statsd ports: - "80:80" - "2003-2004:2003-2004"…

以下是一个简单的demo,使用jmxtrans 进行jmx 指标的处理,项目使用docker-compose 运行 同时写入数据到graphite 环境准备 docker-compose文件   version: "3" services: graphite: image: graphiteapp/graphite-statsd ports: - "80:80" - "2003-2004:2003-2004" - "2023-2024:…

需求说明 编写背景 此手册的基础在于对<jmxtrans + influxdb + granafa 监控套件使用手册>的熟悉和使用.本手册仅介绍以下几项: OpenTSDB 的配置安装 对 json 文件的配置使其可以将数据导入OpenTSDB grafana 对OpenTSDB 数据源的看板配置 适用人群 管理层人员 数据部门人员 运维部门人员 其他想要学习此类知识的人员 配置安装 OpenTSDB 简介 OpenTSDB ,可以认为是一个时系列数据(库),它基于HBase存储数据,充分发挥…

需求说明 随着大数据组件的日益完善,需要随时随地保持各个组件的日常运行,对各个组件的监控势在必行.为了减少运维部门的负担,通过筛选,我们使用 jmxtrans + influxdb + granafa 套件对各个组件进行监控. Jmxtrans:JMX可以对外暴露jvm内部的一些指标,但是要获取那些jvm的内部信息,就还需要自己写java程序调用jmx接口去获取数据,并按照某种格式发送到其他地方(如监控程序Graphite,Zabbix等).这时jmxtrans就派上用场了,jmxtrans的作…

Awesome系列的Java资源整理.awesome-java 就是akullpp发起维护的Java资源列表,内容包括:构建工具.数据库.框架.模板.安全.代码分析.日志.第三方库.书籍.Java 站点等等. 经典的工具与库 (Ancients) In existence since the beginning of time and which will continue being used long after the hype has waned. Apache Ant - Build…