flask + mysql写的简单监控系统
这里以监控内存使用率为例,写的一个简单demo性程序,具体操作根据51reboot提供的教程写如下。
一、建库建表
创建falcon数据库:
- mysql> create database falcon character set utf8;
- Query OK, 1 row affected (0.00 sec)
创建内存监控使用的表stat,表结构如下:
- CREATE TABLE `stat` (
- `id` int(11) unsigned NOT NULL AUTO_INCREMENT,
- `host` varchar(256) DEFAULT NULL,
- `mem_free` int(11) DEFAULT NULL,
- `mem_usage` int(11) DEFAULT NULL,
- `mem_total` int(11) DEFAULT NULL,
- `load_avg` varchar(128) DEFAULT NULL,
- `time` bigint(11) DEFAULT NULL,
- PRIMARY KEY (`id`),
- KEY `host` (`host`(255))
- ) ENGINE=InnoDB AUTO_INCREMENT=0 DEFAULT CHARSET=utf8;
二、flask web端设置
首先我们设计一个web服务,实现如下功能:
- 完成监控页面展示
- 接受POST提交上来的数据
- 提供json数据GET接口
具体框架结构图如下:
目录结构如下:
- web
- ├── flask_web.py
- └── templates
- └── mon.html
flask_web代码如下:
- import MySQLdb as mysql
- import json
- from flask import Flask, request, render_template
- app = Flask(__name__)
- db = mysql.connect(user="361way", passwd="123456", \
- db="falcon", charset="utf8")
- db.autocommit(True)
- c = db.cursor()
- @app.route("/", methods=["GET", "POST"])
- def hello():
- sql = ""
- if request.method == "POST":
- data = request.json
- try:
- sql = "INSERT INTO `stat` (`host`,`mem_free`,`mem_usage`,`mem_total`,`load_avg`,`time`) VALUES('%s', '%d', '%d', '%d', '%s', '%d')" % (data['Host'], data['MemFree'], data['MemUsage'], data['MemTotal'], data['LoadAvg'], int(data['Time']))
- ret = c.execute(sql)
- except mysql.IntegrityError:
- pass
- return "OK"
- else:
- return render_template("mon.html")
- @app.route("/data", methods=["GET"])
- def getdata():
- c.execute("SELECT `time`,`mem_usage` FROM `stat`")
- ones = [[i[0]*1000, i[1]] for i in c.fetchall()]
- return "%s(%s);" % (request.args.get('callback'), json.dumps(ones))
- if __name__ == "__main__":
- app.run(host="0.0.0.0", port=8888, debug=True)
这里使用的汇图JS为highcharts、highstock ,具体模板页面内容如下:
- [root@91it templates]# cat mon.html
- <title>memory monitor</title>
- <!DOCTYPE HTML>
- <html>
- <head>
- <meta http-equiv="Content-Type" content="text/html; charset=utf-8">
- <title>Highstock Example</title>
- <!-- <script type="text/javascript" src="{{ url_for('static', filename='jquery.min.js') }}"></script> -->
- <script type="text/javascript" src="http://ajax.useso.com/ajax/libs/jquery/1.8.2/jquery.min.js"></script>
- <style type="text/css">
- ${demo.css}
- </style>
- <script type="text/javascript">
- $(function () {
- $.getJSON('/data?callback=?', function (data) {
- // Create the chart
- $('#container').highcharts('StockChart', {
- rangeSelector: {
- inputEnabled: $('#container').width() > 480,
- selected: 1
- },
- title: {
- text: 'memory monitor'
- },
- series: [{
- name: 'memory monitor',
- data: data,
- type: 'spline',
- tooltip: {
- valueDecimals: 2
- }
- }]
- });
- });
- });
- </script>
- </head>
- <body>
- <!-- <script src="{{ url_for('static', filename='highstock.js') }}"></script> -->
- <script src="http://cdnjs.cloudflare.com/ajax/libs/highstock/2.0.4/highstock.js"></script>
- <!-- <script src="{{ url_for('static', filename='exporting.js') }}"></script> -->
- <script src="http://code.highcharts.com/modules/exporting.js"></script>
- <div id="container" style="height: 400px"></div>
- </body>
- </html>
注:这里的JS代码都直接使用互联网上的代码,如果主机无法连接互联网的,可以将上面的三段代取取下来,在templates 的同级目录创建static 目录,将下载下来的三个文件放到该目录,删除模板中三处引用javascript处的代码,使用当前注释的三段。
三、agent被监控端设置
web展示页面完成了,运行起来:python flask_web.py 监听在8888端口上。我们需要做一个agent来采集数据,并通过post方法请求flask_web页面,将数据上传写入数据库。这里以监控内存为例,具体监控代码如下:
- #!/usr/bin/env python
- #coding=utf-8
- import inspect
- import time
- import urllib, urllib2
- import json
- import socket
- class mon:
- def __init__(self):
- self.data = {}
- def getTime(self):
- return str(int(time.time()) + 8 * 3600)
- def getHost(self):
- return socket.gethostname()
- def getLoadAvg(self):
- with open('/proc/loadavg') as load_open:
- a = load_open.read().split()[:3]
- return ','.join(a)
- def getMemTotal(self):
- with open('/proc/meminfo') as mem_open:
- a = int(mem_open.readline().split()[1])
- return a / 1024
- def getMemUsage(self, noBufferCache=True):
- if noBufferCache:
- with open('/proc/meminfo') as mem_open:
- T = int(mem_open.readline().split()[1])
- F = int(mem_open.readline().split()[1])
- B = int(mem_open.readline().split()[1])
- C = int(mem_open.readline().split()[1])
- return (T-F-B-C)/1024
- else:
- with open('/proc/meminfo') as mem_open:
- a = int(mem_open.readline().split()[1]) - int(mem_open.readline().split()[1])
- return a / 1024
- def getMemFree(self, noBufferCache=True):
- if noBufferCache:
- with open('/proc/meminfo') as mem_open:
- T = int(mem_open.readline().split()[1])
- F = int(mem_open.readline().split()[1])
- B = int(mem_open.readline().split()[1])
- C = int(mem_open.readline().split()[1])
- return (F+B+C)/1024
- else:
- with open('/proc/meminfo') as mem_open:
- mem_open.readline()
- a = int(mem_open.readline().split()[1])
- return a / 1024
- def runAllGet(self):
- #自动获取mon类里的所有getXXX方法,用XXX作为key,getXXX()的返回值作为value,构造字典
- for fun in inspect.getmembers(self, predicate=inspect.ismethod):
- if fun[0][:3] == 'get':
- self.data[fun[0][3:]] = fun[1]()
- return self.data
- if __name__ == "__main__":
- while True:
- m = mon()
- data = m.runAllGet()
- print data
- req = urllib2.Request("http://test.361way.com:8888", json.dumps(data), {'Content-Type': 'application/json'})
- f = urllib2.urlopen(req)
- response = f.read()
- print response
- f.close()
- time.sleep(60)
nohup python moniItems.py >/dev/null 2>&1 & 在被监控主机上运行,如果出于实验目的,想尽快的看到展示效果,可以将time.sleep(60) 改为time.sleep(2) ,这样每2秒就会取一次数据写入数据库。
访问 http://test.361way.com:8888 就可以看到我们的监控数据了:效果图如下
highcharts支持将按时间拖动,也支持按指定时间段查看。并且查看到的图片可以直接保存为png、jpg或pdf、csv等格式查看。
flask + mysql写的简单监控系统的更多相关文章
- MySQL写压力性能监控与调优
写压力调优:数据库的写.写压力性能监控.写压力调优参数 一.关于DB的写 1.数据库是一个写频繁的系统 2.后台写.写缓存 3.commit需要写入 4.写缓存失效或者写满-->写压力陡增--& ...
- 10min 手写一个内存监控系统
本文的目的在于,尽可能用简单的代码,让大家了解内存监控的原理,及思想.更容易去理解Nagios.Zabbix.Ganglia监控原理,文章最后还有视频教程链接哦,从零敲出来的全过程 思路分为下面几块: ...
- GO开发:用go写个日志监控系统
日志收集系统架构 1.项目背景 a. 每个系统都有日志,当系统出现问题时,需要通过日志解决问题 b. 当系统机器比较少时,登陆到服务器上查看即可满足 c. 当系统机器规模巨大,登陆到机器上查看几乎不现 ...
- JSP+Servlet+C3P0+Mysql实现的简单新闻系统
项目简介 项目来源于:https://gitee.com/glotion/servlet-jsp_news 本系统基于JSP+Servlet+C3P0+Mysql.涉及技术少,易于理解,适合JavaW ...
- DAY5 php + mysql 写一个简单的sql注入平台
php mysql 在浏览器输入用户名,去数据库查询.查到则显示在浏览器,查不到则显示空. sql 里面三个字段 id username password create table t1 (id in ...
- php+mysql+apache实现登录注册系统
Php+mysql写网页注册登录系统 1.搭建msyql+php+apache的网站环境 (1) 在云服务器上搭建服务器,推荐使用宝塔集成 (2) 在本地windows搭建,推荐自己采用分开安装,这样 ...
- Python运维三十六式:用Python写一个简单的监控系统
市面上有很多开源的监控系统:Cacti.Nagios.Zabbix.感觉都不符合我的需求,为什么不自己做一个呢? 用Python两个小时徒手撸了一个简易的监控系统,给大家分享一下,希望能对大家有所启发 ...
- 用python 10min手写一个简易的实时内存监控系统
简易的内存监控系统 本文需要有一定的python和前端基础,如果没基础的,请关注我后续的基础教程系列博客 文章github源地址,还可以看到具体的代码,喜欢请在原链接右上角加个star 腾讯视频链接 ...
- [转]用python 10min手写一个简易的实时内存监控系统
简易的内存监控系统 本文需要有一定的python和前端基础,如果没基础的,请关注我后续的基础教程系列博客 文章github源地址,还可以看到具体的代码,喜欢请在原链接右上角加个star 腾讯视频链接 ...
随机推荐
- Android 中自定义控件和属性(attr.xml,declare-styleable,TypedArray)的方法和使用
一. 在res/values 文件下定义一个attrs.xml 文件.代码如下: <?xml version="1.0" encoding="utf-8" ...
- Window7 Cocos2d-x配置开发环境
1.到Cocos2d-x官方网下载最新版,解压后在目录cocos2d-x-2.1.5\tools\project-creator\create_project.py 2.安装Python,到网站htt ...
- windows sever2003安装Wamp 2.5不成功——VC 11不支持Windows Server 2003和win XP?
Windows Server 2003 安装Wamp 2.5不成功Wampserver 2.5 will not run on Windows XP 报错信息:C:\wamp\bin\apache\a ...
- Python property,属性
參考资料 http://www.ibm.com/developerworks/library/os-pythondescriptors/ 顾名思义,property用于生成一个属性.通过操作这个属性. ...
- zabbix 服务器设置邮件报警
实验条件: Zabbix监控服务器.客户端都已经部署完成,被监控主机已添加完成,Zabbix监控运行正常. 实现目的: Zabbix监控服务器设置邮件报警,当被监控主机宕机或达到触发器预设值进,会自动 ...
- 1. 请问PHP里的ECHO是什么意思 ?请问PHP里的ECHO是什么意思???有什么作用???又应该怎么使用???
直接输出字符或字符串的意思: 例如:echo "abc"; 就会输出abc echo 'abc' 一样是输出abc . 如果仅仅只输出字符串的话,单引号和双引号是输出内容是一样的, ...
- Oracle 10.2.0.1 精简客户端配置
装完Ooracle 11g之后客户端sqlplus复制粘贴的时候不太简单,就 用了实验室的老版本10g客户端. 前提服务端装好了,想换一个客户端.11g sql plus也能用. 文件链接: 链接:h ...
- js 浅拷贝和深拷贝
传值与传址 了解了基本数据类型与引用类型的区别之后,我们就应该能明白传值与传址的区别了.在我们进行赋值操作的时候,基本数据类型的赋值(=)是在内存中新开辟一段栈内存,然后再把再将值赋值到新的栈中.例如 ...
- NFS 网络挂载问题 解决
在进行嵌入式开发时,通常使用nfs,在开发板上面远程挂载主机上的目录,这样,省去了拷贝复制文件的过程,加快开发速度.在这里,给出自己在nfs相关的设置上出现的问题. 本 ...
- Android布局学习——android:gravity和android:layout_gravity的区别
[Android布局学习系列] 1.Android 布局学习之——Layout(布局)详解一 2.Android 布局学习之——Layout(布局)详解二(常见布局和布局参数) 3.And ...