Grafana & Graphite & Collectd:监控系统
简介
监控是运维工作中的一个重要组成部分,今天介绍一套新的监控工具,方便好用,扩展性强,这套工具有三个组件,Grafana & Graphite & Collectd;
Grafana 是一个开源的强有力的数据展示、量化分析工具,数据源包括 graphite、prometheus、mysql、influxdb 等等,可以直接在页面上组装语句,另外还可以对资源实现可用性和性能监控报警,同时还支持集成OpenLDAP;
Graphite 是一个用Python写的开源的监控绘图工具,由三个组建组成,分别是
carbon(基于 Twisted 的进程,用来接收数据)
、whisper(专门存储时间序列类型数据的小型数据库)
、graphite-web(基于 Django 的网页应用程序)
,我们这里使用其存储监控数据;Collectd 是一个用C语言开发的守护进程,能够周期性的收集系统和应用程序的性能指标,同时给各种存储方式提供不同的存储机制,我们这里使用其收集数据并将数据推送到 graphite 中存储;
目前云平台使用普遍且方便,大多数云平台有完善详尽的监控预警系统,但对于业务需要使用多种云平台或混合云的情况却较难应对;这套监控体系可综合各种系统监控、业务监控、业务数据展示等功能,统一入口,可谓运维必备利器;现将该系统的创建分享方向给大家,希望对需要的小伙伴有所帮助;
逻辑结构图如下:
下图为grafana 可以接收的数据源列表
graphite 部署
- 数据做持久存储
docker run -d \
--name ops-graphite \
--restart=always \
-p 8880:80 \
-p 2003-2004:2003-2004 \
-p 2023-2024:2023-2024 \
-p 8125:8125/udp \
-p 8126:8126 \
-v /opt/graphite_data/whisper:/opt/graphite/storage/whisper:rw \
-v /opt/graphite_data/redis:/var/lib/redis:rw \
-v /opt/graphite_data/log:/var/log:rw \
graphiteapp/graphite-statsd
- 可通过浏览器访问 graphite 页面,
http://10.0.0.1:8880
,默认用户名:root,密码:root,后续要将其加入到grafana的数据源
collectd 部署
- 替换
GRAPHITE_HOST
为你graphite的主机地址,我这里使用域名,方便管理
docker run -d \
--name ops-collectd \
--net=host \
--privileged \
--restart always \
-v /:/hostfs:ro \
-e GRAPHITE_HOST=collectd.ops.glinux.top \
williamguozi/collectd:latest
grafana 部署
- 数据做持久存储,可通过
-v /opt/grafana/grafana.ini:/etc/grafana/grafana.ini
,-v /opt/grafana/ldap.toml:/etc/grafana/ldap.toml
将配置放置外部管理(可选)
docker run -d \
--name ops-grafana \
-p 3000:3000 \
-v /opt/grafana:/var/lib/grafana \
grafana/grafana
grafana 配置
经过上诉配置,就可以打开grafana的管理界面了,
http://10.0.0.1:3000
,默认用户名:admin,密码:admin添加
graphite
数据源,配置用户名密码,测试连接状态
设置告警通知方式,这里使用slack方式通知到频道,也可尝试其他通知方式
左侧列表添加 Dashboard -> Panel,编辑Panel,添加数据,比如cpu利用率
调整单位
修改 Panel 名称,添加报警规则
效果展示
当资源指标达到阈值就会报警到Slack相应的频道
另外,可以通过安装 dashboards 模版使数据展示更漂亮
总结
- 本文主要就操作系统的基础监控做例子,展示整个部署过程及展示和报警;
- 当然其也能够对时下比较流行的kubernetes进行详细的监控,后面会写文介绍;
- 另外,grafana可以直接将mysql作为数据源,将业务数据图标展示,体现DevOps价值;
参考文档
- Installing Graphite: https://graphite.readthedocs.io/en/latest/install.html
- Graphite简介: https://my.oschina.net/u/1263964/blog/701664
- Graphite 和 Grafana 简介: https://yumminhuang.github.io/post/graphiteandgrafana
- 创建一个slack api: https://api.slack.com/start
Grafana & Graphite & Collectd:监控系统的更多相关文章
- WIndows下使用Grafana+InfluxDB打造监控系统
前言 对于一个运维DBA来说,了解数据库的TPS.QPS很有必要(QPS:每秒查询数,即对数据库每秒的DML的操作数:TPS:每秒事物处理,即对数据库每秒DDL操作数),通过了解他们,可以掌握一个实 ...
- Grafana+Zabbix+Prometheus 监控系统
环境说明 软件 版本 操作系统 IP地址 Grafana 5.4.3-1 Centos7.5 192.168.18.231 Prometheus 2.6.1 Centos7.5 192.168.18. ...
- Prometheus+Grafana+Altermanager搭建监控系统
基本概念 Prometheus 时间序列化数据库,我的理解就是将数据打上标签,以时间维度存储.后面有机会在深入研究. Prometheus架构如下: Grafana Prometheus中存储的数据, ...
- 基于Prometheus+Grafana+AlertManager的监控系统
一.Prometheus 1.1 简介 Prometheus是一套开源的监控&报警&时间序列数据库的组合,基于应用的metrics来进行监控的开源工具 . 1.2 下载&安装 ...
- 使用Kafka、Elasticsearch、Grafana搭建业务监控系统(三)Elasticsearch
https://blog.csdn.net/tonywu1992/article/details/83576863
- 实战 Prometheus 搭建监控系统
实战 Prometheus 搭建监控系统 Prometheus 是一款基于时序数据库的开源监控告警系统,说起 Prometheus 则不得不提 SoundCloud,这是一个在线音乐分享的平台,类似于 ...
- 【监控】使用 Grafana、collectd 和 InfluxDB 打造现代监控系统
参考资料:Grafana 是 Graphite 和 InfluxDB 仪表盘和图形编辑器:http://www.oschina.net/p/grafana 使用 Grafana.collectd 和 ...
- 使用 Grafana、collectd 和 InfluxDB 打造现代监控系统
想打造 New Relic 那样漂亮的实时监控系统我们只需要 InfluxDB/collectd/Grafana 这三个工具,这三个工具的关系是这样的: 采集数据(collectd)-> 存储数 ...
- 使用cAdvisor+Influxdb+Grafana监控系统
今天准备开始研究研究当前非常流行的Grafana+Influxdb监控系统,两者都是非常轻量级的应用但是功能却异常强大,可以说Grafana在作图显示方面真的毫不逊色与Cacti. 组件介绍 cA ...
随机推荐
- 【一起学源码-微服务】Feign 源码二:Feign动态代理构造过程
前言 前情回顾 上一讲主要看了@EnableFeignClients中的registerBeanDefinitions()方法,这里面主要是 将EnableFeignClients注解对应的配置属性注 ...
- Web及网络基础学习(一)
---恢复内容开始--- 2019.10.16 1.TCP.IP分层 应用层.网络层.传输层.数据链路层 2.各层讲解 应用层 决定了向用户提供应用服务时通信的活动.例如FTP(File Trans ...
- ArcGIS Server for JavaScript 3.3 的安装部署
一.安装包下载 首先从官网下载ArcGIS API for JavaScript 3.3 的API和SDK,地址:http://support.esrichina.com.cn/2011/0223/9 ...
- CS0656 缺少编译器要求的成员“Microsoft.CSharp.RuntimeBinder.CSharpArgumentInfo.Create”
问题出现原因:在net core使用动态类型dynamic,在编译的时候提示错误信息如上. 解决方案: 1.不用dynamic类型 2.在使用的地方添加一个dll,Microsoft.CSharp,或 ...
- redis简单操作
一.redis 基础操作 1.1.string 类型及操作 string 是最简单的类型,一个key对应一个value,string类型是二进制安全的.redis的string可以包含任何数据. 1. ...
- 2018南京现场赛D 模拟退火
题目链接:https://codeforces.com/gym/101981/attachments 给你n个城市的三维坐标,叫你求得一个坐标使这个坐标到其他城市的最大距离最小,并输出这个距离(距离不 ...
- Application run failed org.springframework.beans.factory.BeanCreationException: Error creating bean with name
目前有发现的两种情况 第一种:是在继承jpa的时候检查实体类@id和@Entity引进的包是否是 import javax.persistence.Id imprt javax.persistence ...
- 深入学习MySQL 02 日志系统:bin log,redo log,undo log
上一篇文章中,我们了解了一条查询语句的执行过程,按理说这篇应该讲一条更新语句的执行过程,但这个过程比较复杂,涉及到了好几个日志与事物,所以先梳理一下3个重要的日志,bin log(归档日志).redo ...
- NOI4.6 最小新整数——切山游戏
描述 给定一个十进制正整数n(0 < n < 1000000000),每个数位上数字均不为0.n的位数为m. 现在从m位中删除k位(0<k < m),求生成的新整数最小为多少? ...
- initramfs打包集成rootfs到image镜像及linux rootfs的正常启动
最近的项目中需要在仿真机haps及VDK上集成rootfs,中间遇到一些问题,在此整理记录以备忘. rootfs里面集成的busybox版本1.29.3 (buildroot环境中自带) kernel ...