获取博客积分排名,存入数据库,读取数据进行绘图(python,selenium,matplotlib)
该脚本的目的:获取博客的排名和积分,将抓取时间,排名,积分存入数据库,然后把最近的积分和排名信息进行绘图,查看积分或者排名的变化情况。
整个脚本的流程:是利用python3来编写,利用selnium获取网页的信息,使用re正则表达式解析积分score和排名rank,用pymysql连接mysql数据库,最后利用matplotlib进行绘图。
首先创建db: xiaoshitou
创建表blog_rank:
CREATE TABLE `blog_rank` (
`id` int(11) NOT NULL AUTO_INCREMENT COMMENT 'id',
`rank` varchar(255) NOT NULL DEFAULT '' COMMENT '排名',
`score` varchar(255) NOT NULL DEFAULT '' COMMENT '积分',
`create_time` varchar(255) NOT NULL DEFAULT '' COMMENT '添加时间',
PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=27 DEFAULT CHARSET=utf8;
现在来看下绘图的结果:
数据库表,blog_rank表中存的数据:
下面就来看实现过程:
1、该文件是利用pymysql来连接数据库,新增和查询数据的(operation_mysql.py)
#coding=utf-8 import pymysql as MySQLdb
import datetime host = '127.0.0.1'
user = 'root'
passwd = ''
port = 3306
db = 'xiaoshitou'
class OperationMySQL(object): def __init__(self):
"""连接数据库"""
try:
self.conn = MySQLdb.connect(host=host,
port=port,
user=user,
passwd=passwd,
db=db,
charset='utf8', )
self.cur = self.conn.cursor()
except Exception as e:
print('Connect MySQL Database Fail: ' + e) def _close_connect(self):
"""关闭连接"""
self.cur.close()
self.conn.close() def insert_data(self, data):
"""插入数据"""
sql = 'insert into blog_rank (rank,score,create_time) values ({0},{1},{2})'.format(data['rank'], data['score'], datetime.datetime.now().timestamp())
res = self.cur.execute(sql)
self.conn.commit()
self._close_connect() def select_data(self, sql=None):
"""根据sql查询数据"""
if sql is None:
sql = 'select rank,score,create_time from blog_rank order by create_time'
self.cur.execute(sql)
result = self.cur.fetchall()
self._close_connect()
headers = ('rank', 'score', 'create_time')
results = [dict(zip(headers, row)) for row in result]
# print(results)
return results if __name__ == '__main__':
OperationMySQL().select_data()
2、get_my_blog_score.py,这个文件包含:获取网页内容,解析排名和积分,将抓取的数据存入数据库,读取数据库进行绘图
# coding=utf-8
try:
import requests
except:
import os
os.system('pip install requests')
import requests
import re
from selenium import webdriver
from time import sleep
from operation_mysql import OperationMySQL class GetMyBlogScore:
"""获取博客园积分和排名"""
def __init__(self):
pass def _get_blog_content(self):
"""获取博客的页面内容"""
url = "http://www.cnblogs.com/xiaoshitoutest"
driver = webdriver.Firefox()
sleep(1)
driver.get(url)
sleep(1)
self.content = driver.page_source
driver.quit()
return def _match_content(self, compile_str_args):
"""进行匹配内容"""
compile_str = re.compile(compile_str_args)
result = compile_str.findall(self.content)
final_str = re.sub(r'\D', '', result[0])
return final_str def _save_database(self, data):
"""将结果写入数据库"""
if isinstance(data, dict) and data is not None:
OperationMySQL().insert_data(data)
print('Insert Data Success.')
else:
print('The data is invalid.') def _show_map(self):
"""读取数据库中的值,画图表,保存结果"""
datas = OperationMySQL().select_data()
import matplotlib.pyplot as plt
from datetime import datetime
from matplotlib.dates import datestr2num,DateFormatter
import matplotlib.dates as dates x_ = [ datetime.fromtimestamp(float(x['create_time'])).strftime('%Y-%m-%d %H:%M:%S') for x in datas]
score = [x['score'] for x in datas]
rank = [x['rank'] for x in datas] plt.rcParams['font.sans-serif'] = ['FangSong'] fig, ax = plt.subplots()
ax.xaxis.set_major_locator(dates.DayLocator())
ax.xaxis.set_major_formatter(DateFormatter('%Y-%m-%d')) ax.plot_date(datestr2num(x_),score,'--')
ax.set_xlabel('日期')
ax.set_ylabel('积分')
ax.set_title('博客园排名--积分')
fig.autofmt_xdate()
# plt.show()
plt.savefig('./rank_score.png') def run(self):
score = r'<li.*?class="liScore">([\s\S]*?)</li>'
rank = r'<li.*?class="liRank">([\s\S]*?)</li>'
self._get_blog_content()
scores = self._match_content(score)
ranks = self._match_content(rank)
result = dict(zip(['score', 'rank'], [scores, ranks]))
self._save_database(result)
self._show_map() if __name__ == '__main__':
GetMyBlogScore().run()
直接运行该文件,就会在当前目录下生成一个rank_score.png的图片,就是关于积分的变化图。
开始那张是:时间--积分的绘图,我在放一张。积分--排名变化图
获取博客积分排名,存入数据库,读取数据进行绘图(python,selenium,matplotlib)的更多相关文章
- CSDN博客积分规则
1.博客积分规则 博客积分是CSDN对用户努力的认可和奖励,也是衡量博客水平的重要标准.博客等级也将由博客积分唯一决定.积分规则具体如下: 每发布一篇原创或者翻译文章:可获得10分: 每发布一篇转载文 ...
- echarts通过ajax向服务器发送post请求,servlet从数据库读取数据并返回前端
1.echarts的官网上的demo,都是直接写死的随机数据,没有和数据库的交互,所以就自己写了一下,ok,我们开始一步一步走一遍整个流程吧. 就以官网最简单的那个小demo来做修改吧.官网上的小de ...
- JMeter 参数化之利用JDBCConnectionConfiguration从数据库读取数据并关联变量
参数化之利用DBC Connection Configuration从数据库读取数据并关联变量 by:授客 QQ:1033553122 1. 下载mysql jar包 下载mysql jar包 ...
- Django:(博客系统)使用使用mysql数据->后台管理tag/post/category的配置
Django后台一般是不需要人为的去开发的,因为django已经通过配置实现哪些模块是后台需要管理,如何排序,列表展示哪些列,列显示名称,是否为空(默认值),过滤条件,分页页数,列表中哪些项可编辑等等 ...
- 10天学会phpWeChat——第三天:从数据库读取数据到视图
在第二天,我们创建了我们的第一个phpWeChat功能模块,但是比较简单.实际生产环境中,我们不可能有如此简单的需求.更多的情况是数据存储在MySql数据库中,我们开发功能模块的作用就是将这些数据从M ...
- C#实现从数据库读取数据到Excel
用第三方组件:NPOI来实现 先去官网:http://npoi.codeplex.com/下载需要引入dll(可以选择.net2.0或者.net4.0的dll),然后在网站中添加引用.使用 NPOI ...
- Android打开数据库读取数据
打开数据库读取数据 private MyDatabaseHelper dbHelper; dbHelper=new MyDatabaseHelper(this,"List.db", ...
- 【Python】模块学习之Timer定时任务,递归定时自调获取博客浏览量
Timer定时任务 下面是Timer函数的官方doc介绍信息 """ Call a function after a specified number of second ...
- java提取(获取)博客信息(内容)
package com.wbg.my.service; import java.io.*; import java.net.HttpURLConnection; import java.net.URL ...
随机推荐
- Zju1290 Word-Search Wonder(http://begin.lydsy.com/JudgeOnline/problem.php?id=2768)
2768: Zju1290 Word-Search Wonder Time Limit: 1 Sec Memory Limit: 128 MBSubmit: 4 Solved: 2[Submit] ...
- UVa 10041 - Vito's Family
题目大意:给出一些点,找到一个位置使这个位置到所有的点的距离的和最短. 很明显,排序,找中位数.关于中位数:有n个从小到大的数,k=(n+1)/2,若n为奇数,k为中位数,若n为偶数,k为中间那两个数 ...
- 360路由器+花生壳实现外网访问SVN服务器
注册花生壳账号 花生壳注册地址:https://console.oray.com/passport/register.html?fromurl=http%3A%2F%2Fhsk.oray.com%2F ...
- 黄聪:VPS用轻松备份工具备份Wordpress,文件夹通配符
db;log;wp-admin;wp-includes;temp;upgrade;twentyfourteen;twentyfifteen;twentysixteen;twentythirteen;t ...
- js事件监听器用法实例详解-注册与注销监听封装
本文实例讲述了js事件监听器用法.分享给大家供大家参考.具体分析如下: 1.当同一个对象使用.onclick的写法触发多个方法的时候,后一个方法会把前一个方法覆盖掉,也就是说,在对象的onclick事 ...
- PHP做负载均衡回话保持问题参考
最近一个项目的服务器老是出现Session数据丢失问题,导致用户莫名其妙的退出,原因是太相信我们的运维人员所谓的负载均衡会话保持的概念.会话保持 的原理就是负载均衡通过Cookie来分发那个客户连接被 ...
- SecureCRT 保存FTP用户登录密码
Connect连接对话框->右键选择Session->选择属性->选择Connection 中的 Logon Actions->在右侧进行设置:
- DailyTick 开发实录 —— UI 设计
上次的文章中描述了 DailyTick 的设计理念.经过两周左右的设计和开发,现在 DailyTick 的主要 UI 已经完成了原型的设计和初步的实现.既然是原型,当然看起来就有点粗糙. 主 UI 主 ...
- pwnable.kr-collision -Writeup
bof html,body,div,span,applet,object,iframe,h1,h2,h3,h4,h5,h6,p,blockquote,pre,a,abbr,acronym,addres ...
- C/C++中的联合体
C/C++中的联合体 利用union可以用相同的存储空间存储不同型别的数据类型,从而节省内存空间.当访问其内成员时可用"."和"->"来直接访问. 当多个 ...