Python 基于python+mysql浅谈redis缓存设计与数据库关联数据处理
基于python+mysql浅谈redis缓存设计与数据库关联数据处理
by:授客 QQ:1033553122
测试环境
redis-3.0.7
CentOS 6.5-x86_64
python 3.3.2
基于Python操作Redis
1、创建示例数据库表
CREATE TABLE tb_signin_rank(
id INT,
user_name VARCHAR(10) COMMENT '用户名',
signin_num INT COMMENT '签到次数',
signin_time DATETIME COMMENT '签到时间',
gold_coin INT COMMENT '金币'
);
初始化数据
INSERT INTO tb_signin_rank
VALUES(1, 'shouke', 0, NULL, 0),
(2, 'chuangke', 0, NULL, 0),
(3, 'ishouke', 0, NULL, 0),
(4, 'keshou', 0, NULL, 0),
(5, 'shouke', 0, NULL, 0);
2、redis缓存键值设计
key value
表名:主键值:列名 列值
或者如下,通过为不同列之间建立较为紧密的关联
key value
表名:主键值:列值1:列名2 列值2
示例:把id为1的人的签到次数(假设为5)存储到redis中则可如下操作:
set('tb_signin_rank:1:signin_num', 5)
这样做的好处是,类似数据库一样,通过主键便可获取其它值。
示例:把id和用户名关联
set('tb_signin_rank:shouke:id', 1)
这样,通过用户名就可以查询出关联的id了:uid = r.get("tb_signin_rank:%s:id" % username)
3、redis关联数据库的数据处理
不要求强一致实时性的读请求,都由redis处理
要求强一致实时性的读请求,由数据库处理
通常包含以下两种处理模式:
模式1:
如图,先判断是否存在缓存(通常是根据key),如果存在则从缓存读取,否则从数据库读取并更新缓存。
适用场景:对数据实时性要求不高,更新比较不频繁,比如签到排行榜
模式2:
如下图,先写入redis然后,利用守护进程等方式,定时写入到数据库
模式3:
如下图,先写入数据库,然后再更新到缓存
适用场景:数据量较大,更新较为频繁
说明:
模式2和模式3的区别在于,前者把redis当作数据库用,通过写入redis后马上返回程序,然后定时把数据写入数据库,这也大大提高了访问速度。这种方式不足的是,这种对redis的可靠性依赖性太强
4、案例
./dbconfig.conf配置
[TESTDB]
host = 192.168.1.103
port = 3306
user = testacc
passwd = test1234
db = testdb
charset = utf8
#!/usr/bin/env python
# -*- coding:utf-8 -*-
__author__ = 'shouke'
import configparser
import sys
import mysql.connector
import redis
if __name__ == '__main__':
pool = redis.ConnectionPool(host='192.168.1.103', port=6379, db=0)
r = redis.Redis(connection_pool=pool)
# r.expire('tb_signin_rank:id:signin_num', 20)
config = configparser.ConfigParser()
# 从配置文件中读取数据库服务器IP、域名,端口
config.read('./dbconfig.conf')
host = config['TESTDB']['host']
port = config['TESTDB']['port']
user = config['TESTDB']['user']
passwd = config['TESTDB']['passwd']
db_name = config['TESTDB']['db']
charset = config['TESTDB']['charset']
try:
dbconn = mysql.connector.connect(host=host, port=port, user=user, password=passwd, database=db_name, charset=charset)
except Exception as e:
print('初始化数据连接失败:%s' % e)
sys.exit()
# 执行签到
try:
db_cursor = dbconn.cursor()
for id in range(1, 6):
db_cursor.execute('UPDATE tb_signin_rank SET signin_num = signin_num + 1, signin_time = NOW(), gold_coin = gold_coin + (1 + RAND()*9) WHERE id = %s',(id,))
db_cursor.execute('commit')
# 更新缓存
r.zincrby("tb_signin_rank:id:signin_num", id, 1)
except Exception as e:
print('执行数据库更新操作失败:%s' % e)
db_cursor.execute('rollback')
db_cursor.close()
exit()
# 展示用户签到次数
for id in range(1, 6):
result = r.zscore('tb_signin_rank:id:signin_num', id)
if not result: # 不存在缓存,从数据库读取
print('----从数据库读取用户签到次数----')
try:
db_cursor = dbconn.cursor()
db_cursor.execute('SELECT signin_num FROM tb_signin_rank WHERE id = %s', (id,))
result = db_cursor.fetchone()[0]
# 更新到缓存
r.zadd('tb_signin_rank:id:signin_num', id, result)
except Exception as e:
print('执行数据库查询操作失败:%s' % e)
db_cursor.close()
else: # 存在缓存,从缓存读取
print('----从缓存读取用户签到次数----')
result = int(result)
print('sigin_num of user[id=%s]: %s' % (id, result))
# 展示签到排行榜
result = r.zrevrange('tb_signin_rank:id:signin_num', 0, 10)
print('签到排行榜:', result)
参考连接:
http://www.cnblogs.com/qq78292959/archive/2013/02/05/2892735.html
Python 基于python+mysql浅谈redis缓存设计与数据库关联数据处理的更多相关文章
- $.ajax()方法详解 ajax之async属性 【原创】详细案例解剖——浅谈Redis缓存的常用5种方式(String,Hash,List,set,SetSorted )
$.ajax()方法详解 jquery中的ajax方法参数总是记不住,这里记录一下. 1.url: 要求为String类型的参数,(默认为当前页地址)发送请求的地址. 2.type: 要求为Str ...
- 【原创】详细案例解剖——浅谈Redis缓存的常用5种方式(String,Hash,List,set,SetSorted )
很多小伙伴没接触过Redis,以至于去学习的时候感觉云里雾里的,就有一种:教程随你出,懂了算我输的感觉. 每次听圈内人在谈论的时候总是插不上话,小编就偷偷去了解了一下,也算是初入门径. 然后就整理了一 ...
- 浅谈HTTP缓存以及后端,前端如何具体实现HTTP缓存
<浅谈HTPP缓存>原版: https://juejin.im/post/5bdeabbbe51d4505466cd741?utm_source=gold_browser_extensio ...
- Python 基于Python实现的ssh兼sftp客户端(上)
基于Python实现的ssh兼sftp客户端 by:授客 QQ:1033553122 实现功能 实现ssh客户端兼ftp客户端:实现远程连接,执行linux命令,上传下载文件 测试环境 Win7 ...
- 浅谈PHP代码设计结构
浅谈PHP代码设计结构 您的评价: 还行 收藏该经验 coding多年,各种代码日夜相伴,如何跟代码友好的相处,不光成为职业生涯的一种回应,也是编写者功力的直接显露. 如何看 ...
- Redis缓存设计及常见问题
Redis缓存设计及常见问题 缓存能够有效地加速应用的读写速度,同时也可以降低后端负载,对日常应用的开发至关重要.下面会介绍缓存使 用技巧和设计方案,包含如下内容:缓存的收益和成本分析.缓存更新策略的 ...
- 11.Redis缓存设计
11.Redis缓存设计11.1 缓存的收益和成本11.2 缓存更新策略11.3 缓存粒度控制11.4 穿透优化11.5 无底洞优化11.6 雪崩优化11.7 热点key重建优化11.8 本章重点回顾
- Python 基于Python从mysql表读取千万数据实践
基于Python 从mysql表读取千万数据实践 by:授客 QQ:1033553122 场景: 有以下两个表,两者都有一个表字段,名为waybill_no,我们需要从tl_waybill_b ...
- Python 基于python操纵redis入门介绍
基于python操纵redis入门介绍 by:授客 QQ:1033553122 测试环境 redis-3.0.7 CentOS 6.5-x86_64 python 3.3.2 基于Python操作R ...
随机推荐
- 兼容多数浏览器的js添加收藏夹脚本
浏览器不断发展,js的很多脚本需要跟进才能适应,目前多数代码对新版本浏览器(IE11, Firefox 27)无法适用,特关注跟进. 推荐代码1 适用浏览器:IE11(windows 8.1), Fi ...
- for(var i=0;i<=3;i++){ setTimeout(function() { console.log(i) }, 10);}
for(var i=0;i<=3;i++){ setTimeout(function() { console.log(i) }, 10);} 答案:打印4次4 这道题涉及了异步.作用域.闭包 ...
- Mysql的变量一览
Server System Variables(系统变量) MySQL系统变量(system variables)是指MySQL实例的各种系统变量,实际上是一些系统参数,用于初始化或设定数据库对系统资 ...
- Ubuntu14.04 编译 Android 5.1.1源码(采用国内镜像)
欢迎转载,转载请注明出处: http://www.cnblogs.com/lanrenxinxin/p/5424554.html 之前就有编译android源码的想法,但是由于有GFW的存在,又没有梯 ...
- php扩展编译方法
linux下php已经编译,如何再为php增加新的扩展通过php自带的phpize,如我的phpize在/usr/local/php/bin/phpize1.到软件的官方或pecl.php.net去下 ...
- JSP+Servlet+mysql简单示例【图文教程】
下载MYSQL:http://dev.mysql.com/downloads/ 下载安装版的 然后安装(安装步骤就不详细说了) 安装好之后,点击托盘图标,打开管理工具 创建一个数据库 数据库的名字 ...
- csharp: Setting the value of properties reflection
using System; using System.Collections.Generic; using System.ComponentModel; using System.Data; usin ...
- angularjs学习第六天笔记(指令简介学习)
您好,由于周末有事情,没哟学习angularjs,几天晚上开始继续学习angularjs,坚持加油每一天.谢谢 接着上周五学习了表单验证以后,今天开始学习angularjs中一个非常重要的模块:指令 ...
- SQLServer转PowerDesigner(转载)
将SQLServer中的数据库导入到PowerDesigner 百度得: https://jingyan.baidu.com/article/20095761c98042cb0721b4fc.html ...
- 【Quartz】问题记录注意事项【四】
记录一:queartz 在同时启动多个任务是,触发器名称不能设置一致,不然第二次启动会不成功 记录二:quartz 在使用任务与触发器分离写法时,任务必须要带(.StoreDurably()) IJo ...