redis（二）--用Redis作MySQL数据库缓存

用Redis作MySQL 数据库缓存，必须解决2个问题。首先，应该确定用何种数据结构存储来自mysql的数据；在确定数据结构之后，还要考虑用什么标识作为该数据结构的键。

直观上看，Mysql中的数据都是按表存储的；更微观地看，这些表都是按行存储的。每执行一次select查询，Mysql都会返回一个结果集，这个结果集由若干行组成。所以，一个自然而然的想法就是在redis中找到一种对应于Mysql行的数据结构。Redis中提供了五种基本数据结构，即字符串（string）、列表（list）、哈希（hash）、集合（set）和有序集合（sorted set）。经过调研，发现适合存储行的数据结构有两种，即string和hash。

要把Mysql的行数据存入string，首先需要对行数据进行格式化。事实上，结果集的每一行都可以看做若干由字段名和其对应值组成的键值对集合。这种键值对结构很容易让我们想起Json格式。因此，这里选用Json格式作为结果集每一行的格式化模板。根据这一想法，我们可以实现将结果集格式化为若干Json对象，并将Json对象转化为字符串存入Redis的代码：

// 该函数把结果集中的每一行转换为一个Json格式的字符串并存入Redis的STRING结构中，
// STRING键应该包含结果集标识符和STRING编号，形式如“cache.string:123456:1”
string Cache2String(sql::Connection *mysql_connection,
redisContext *redis_connection,
sql::ResultSet *resultset,
const string &resultset_id, int ttl) {
if (resultset->rowsCount() == 0) {
throw runtime_error("FAILURE - no rows");
}
// STRING键的前缀，包含了结果集的标识符
string prefix("cache.string:" + resultset_id + ":");
unsigned int num_row = 1; // STRING编号，附加于STRING键的末尾，从1开始
sql::ResultSetMetaData *meta = resultset->getMetaData();
unsigned int num_col = meta->getColumnCount();
// 将结果集中所有行对应的所有STRING键存入该SET，SET键包含了结果集的标识符
string redis_row_set_key("resultset.string:" + resultset_id);
redisReply *reply;
string ttlstr;
stringstream ttlstream;
ttlstream << ttl;
ttlstr = ttlstream.str();
resultset->beforeFirst();
// 将结果集中的每一行转为Json格式的字符串，将这些Json字符串存入STRING，
// 每个STRING对应结果集中的一行
while (resultset->next()) {
string redis_row_key; // STRING键名，由前缀和STRING编号组成
stringstream keystream;
keystream << prefix << num_row;
redis_row_key = keystream.str();
Json::Value row;
for (int i = 1; i <= num_col; ++i) {
string col_label = meta->getColumnLabel(i);
string col_value = resultset->getString(col_label);
row[col_label] = col_value;
}
Json::FastWriter writer;
string redis_row_value = writer.write(row);
// 将STRING键及Json格式的对应值对存入Redis
reply = static_cast<redisReply*>(redisCommand(redis_connection,
"SET %s %s",
redis_row_key.c_str(),
redis_row_value.c_str()));
freeReplyObject(reply);
// 将STRING键加入SET中
reply = static_cast<redisReply*>(redisCommand(redis_connection,
"SADD %s %s",
redis_row_set_key.c_str(),
redis_row_key.c_str()));
freeReplyObject(reply);
// 设置STRING的过期时间
reply = static_cast<redisReply*>(redisCommand(redis_connection,
"EXPIRE %s %s",
redis_row_key.c_str(),
ttlstr.c_str()));
freeReplyObject(reply);
++num_row;
}
// 设置SET的过期时间
reply = static_cast<redisReply*>(redisCommand(redis_connection,
"EXPIRE %s %s",
redis_row_set_key.c_str(),
ttlstr.c_str()));
freeReplyObject(reply);
return redis_row_set_key; // 返回SET键，以便于其他函数获取该SET中的内容
}

// 该函数把结果集中的每一行转换为一个Json格式的字符串并存入Redis的STRING结构中，

// STRING键应该包含结果集标识符和STRING编号，形式如“cache.string:123456:1”

string Cache2String(sql::Connection *mysql_connection,

                    redisContext *redis_connection,

                    sql::ResultSet *resultset,

                    const string &resultset_id, int ttl) {

  if (resultset->rowsCount() == 0) {

    throw runtime_error("FAILURE - no rows");

  }

  // STRING键的前缀，包含了结果集的标识符

  string prefix("cache.string:" + resultset_id + ":");

  unsigned int num_row = 1;  // STRING编号，附加于STRING键的末尾，从1开始

  sql::ResultSetMetaData *meta = resultset->getMetaData();

  unsigned int num_col = meta->getColumnCount();

  // 将结果集中所有行对应的所有STRING键存入该SET，SET键包含了结果集的标识符

  string redis_row_set_key("resultset.string:" + resultset_id);

  redisReply *reply;

  string ttlstr;

  stringstream ttlstream;

  ttlstream << ttl;

  ttlstr = ttlstream.str();

  resultset->beforeFirst();

  // 将结果集中的每一行转为Json格式的字符串，将这些Json字符串存入STRING，

  // 每个STRING对应结果集中的一行

  while (resultset->next()) {

    string redis_row_key;  // STRING键名，由前缀和STRING编号组成

    stringstream keystream;

    keystream << prefix << num_row;

    redis_row_key = keystream.str();

    Json::Value row;

    for (int i = 1; i <= num_col; ++i) {

      string col_label = meta->getColumnLabel(i);

      string col_value = resultset->getString(col_label);

      row[col_label] = col_value;

    }

    Json::FastWriter writer;

    string redis_row_value = writer.write(row);

	// 将STRING键及Json格式的对应值对存入Redis

    reply = static_cast<redisReply*>(redisCommand(redis_connection,

                                                 "SET %s %s",

                                                 redis_row_key.c_str(),

                                                 redis_row_value.c_str()));

    freeReplyObject(reply);

    // 将STRING键加入SET中

    reply = static_cast<redisReply*>(redisCommand(redis_connection,

                                                 "SADD %s %s",

                                                 redis_row_set_key.c_str(),

                                                 redis_row_key.c_str()));

    freeReplyObject(reply);

    // 设置STRING的过期时间

    reply = static_cast<redisReply*>(redisCommand(redis_connection,

                                                 "EXPIRE %s %s",

                                                 redis_row_key.c_str(),

                                                 ttlstr.c_str()));

    freeReplyObject(reply);

    ++num_row;

  }

  // 设置SET的过期时间

  reply = static_cast<redisReply*>(redisCommand(redis_connection,

                                               "EXPIRE %s %s",

                                               redis_row_set_key.c_str(),

                                               ttlstr.c_str()));

  freeReplyObject(reply);

  return redis_row_set_key;  // 返回SET键，以便于其他函数获取该SET中的内容

}

要把Mysql的行数据存入hash，过程要比把数据存入string直观很多。这是由hash的结构性质决定的——hash本身就是一个键值对集合：一个“父键”下面包含了很多“子键”，每个“子键”都对应一个值。根据前面的分析可知，结果集中的每一行实际上也是键值对集合。用Redis键值对集合表示Mysql键值对集合应该再合适不过了：对于结果集中的某一行，字段对应于hash的“子键”，字段对应的值就是hash“子键”对应的值，即结果集的一行刚好对应一个hash。这一想法的实现代码如下：

// 该函数把结果集中的每一行都存入一个HASH结构。HASH键应当包括结果集标识符和HASH编号，
// 形如“cache.string:123456:1”
string Cache2Hash(sql::Connection *mysql_connection,
redisContext *redis_connection,
sql::ResultSet *resultset,
const string &resultset_id, int ttl) {
if (resultset->rowsCount() == 0) {
throw runtime_error("FAILURE - no rows");
}
// HASH键的前缀，包含了结果集的标识符
string prefix("cache.hash:" + resultset_id + ":");
unsigned int num_row = 1; // HASH编号，附加于HASH键的末尾，从1开始
sql::ResultSetMetaData *meta = resultset->getMetaData();
unsigned int num_col = meta->getColumnCount();
// 将结果集中所有行对应的所有HASH键存入该SET，SET键包含了结果集的标识符
string redis_row_set_key("resultset.hash:" + resultset_id);
redisReply *reply;
string ttlstr;
stringstream ttlstream;
ttlstream << ttl;
ttlstr = ttlstream.str();
// 结果集中的每一行对应于一个HASH，将结果集的所有行都存入相应HASH中
resultset->beforeFirst();
while (resultset->next()) {
string redis_row_key; // HASH键名，由前缀和HASH编号组成
stringstream keystream;
keystream << prefix << num_row;
redis_row_key = keystream.str();
for (int i = 1; i <= num_col; ++i) {
string col_label = meta->getColumnLabel(i);
string col_value = resultset->getString(col_label);
// 将结果集中一行的字段名和对应值存入HASH
reply = static_cast<redisReply*>(redisCommand(redis_connection,
"HSET %s %s %s",
redis_row_key.c_str(),
col_label.c_str(),
col_value.c_str()));
freeReplyObject(reply);
}
// 将HASH键加入SET中
reply = static_cast<redisReply*>(redisCommand(redis_connection,
"SADD %s %s",
redis_row_set_key.c_str(),
redis_row_key.c_str()));
freeReplyObject(reply);
// 设置HASH的过期时间
reply = static_cast<redisReply*>(redisCommand(redis_connection,
"EXPIRE %s %s",
redis_row_key.c_str(),
ttlstr.c_str()));
freeReplyObject(reply);
++num_row;
}
// 设置SET的过期时间
reply = static_cast<redisReply*>(redisCommand(redis_connection,
"EXPIRE %s %s",
redis_row_set_key.c_str(),
ttlstr.c_str()));
freeReplyObject(reply);
return redis_row_set_key; // 返回SET键，以便于其他函数获取该SET中的内容
}

// 该函数把结果集中的每一行都存入一个HASH结构。HASH键应当包括结果集标识符和HASH编号，

// 形如“cache.string:123456:1”

string Cache2Hash(sql::Connection *mysql_connection,

                  redisContext *redis_connection,

                  sql::ResultSet *resultset,

                  const string &resultset_id, int ttl) {

  if (resultset->rowsCount() == 0) {

    throw runtime_error("FAILURE - no rows");

  }

  // HASH键的前缀，包含了结果集的标识符

  string prefix("cache.hash:" + resultset_id + ":");

  unsigned int num_row = 1;  // HASH编号，附加于HASH键的末尾，从1开始

  sql::ResultSetMetaData *meta = resultset->getMetaData();

  unsigned int num_col = meta->getColumnCount();

  // 将结果集中所有行对应的所有HASH键存入该SET，SET键包含了结果集的标识符

  string redis_row_set_key("resultset.hash:" + resultset_id);

  redisReply *reply;

  string ttlstr;

  stringstream ttlstream;

  ttlstream << ttl;

  ttlstr = ttlstream.str();

  // 结果集中的每一行对应于一个HASH，将结果集的所有行都存入相应HASH中

  resultset->beforeFirst();

  while (resultset->next()) {

    string redis_row_key;  // HASH键名，由前缀和HASH编号组成

    stringstream keystream;

    keystream << prefix << num_row;

    redis_row_key = keystream.str();

    for (int i = 1; i <= num_col; ++i) {

      string col_label = meta->getColumnLabel(i);

      string col_value = resultset->getString(col_label);

	  // 将结果集中一行的字段名和对应值存入HASH

      reply = static_cast<redisReply*>(redisCommand(redis_connection,

                                                   "HSET %s %s %s",

                                                   redis_row_key.c_str(),

                                                   col_label.c_str(),

                                                   col_value.c_str()));

      freeReplyObject(reply);

    }

	// 将HASH键加入SET中

    reply = static_cast<redisReply*>(redisCommand(redis_connection,

                                                 "SADD %s %s",

                                                 redis_row_set_key.c_str(),

                                                 redis_row_key.c_str()));

    freeReplyObject(reply);

	// 设置HASH的过期时间

    reply = static_cast<redisReply*>(redisCommand(redis_connection,

                                                 "EXPIRE %s %s",

                                                 redis_row_key.c_str(),

                                                 ttlstr.c_str()));

    freeReplyObject(reply);

    ++num_row;

  }

  // 设置SET的过期时间

  reply = static_cast<redisReply*>(redisCommand(redis_connection,

                                               "EXPIRE %s %s",

                                               redis_row_set_key.c_str(),

                                               ttlstr.c_str()));

  freeReplyObject(reply);

  return redis_row_set_key;  // 返回SET键，以便于其他函数获取该SET中的内容

}

至此，我们已经给出了两种存储Mysql结果集的方案，这就是我们在篇首提出的第一个问题，即选择何种数据结构存储Mysql结果集的答案。下一篇文章将研究第二个问题，即数据结构键的标识符选择问题。

redis（二）--用Redis作MySQL数据库缓存的更多相关文章

用Redis作Mysql数据库缓存
使用redis作mysql数据库缓存时,需要考虑两个问题: 1.确定用何种数据结构存储来自Mysql的数据; 2.在确定数据结构之后,用什么标识作为该数据结构的键. 直观上看,Mysql中的数据都是按 ...
MySql数据库缓存
对MySql查询缓存及SQL Server过程缓存的理解及总结一.MySql的Query Cache 1.Query Cache MySQL Query Cache是用来缓存我们所执行的SELE ...
mysql 数据库缓存调优之解决The total number of locks exceeds the lock table size错误
环境: mysql5.6.2 主从同步(备注:需操作主库和从库) 一.InnoDB表执行大批量数据的更新,插入,删除操作时会出现这个问题,需要调整InnoDB全局的innodb_buffer_poo ...
【数据库】mysql数据库缓存
配置文件在 /etc/mysql/my.cnf ################### 第一部分:查询数据库缓存相关变量 ################### show variables like ...
python-操作MySQL数据库
1.安装MySQLdb? 为了用DB-API编写MySQL脚本,必须确保已经安装了MySQL.复制以下代码,并执行: #!/usr/bin/python # -*- coding: UTF-8 -*- ...
MySQL实验准备(二)--Python模拟数据(MySQL数据库)
Python模拟数据(MySQL数据库) 数据模拟目的:模拟多个表的插入和查询数据的模拟,再通过基准测试脚本测试服务器性能和收集数据,仿真模拟. 备注: 如果需要基础的python环境,可以查看&l ...
python + docker, 实现天气数据从FTP获取以及持久化（二）-- python操作MySQL数据库
前言在这一节中,我们主要介绍如何使用python操作MySQL数据库. 准备 MySQL数据库使用的是上一节中的docker容器 “test-mysql”. Python 操作 MySQL 我们使用 ...
FLUME安装&环境（二）:拉取MySQL数据库数据到Kafka
Flume安装成功,环境变量配置成功后,开始进行agent配置文件设置. 1.agent配置文件(mysql+flume+Kafka) #利用Flume将MySQL表数据准实时抽取到Kafka a1. ...
Redis(二)、Redis持久化RDB和AOF
一.Redis两种持久化方式对Redis而言,其数据是保存在内存中的,一旦机器宕机,内存中的数据会丢失,因此需要将数据异步持久化到硬盘中保存.这样,即使机器宕机,数据能从硬盘中恢复. 常见的数据持久 ...

随机推荐

Idea调试
Idea调试学习了:https://www.jb51.net/article/128965.htm 1,多线程同时断点: 2,drop frame 回退调试: 3,条件断点/片段代码: 4,调试的时 ...
用户人品预测大赛--getmax队--竞赛分享
用户人品预测大赛--getmax队--竞赛分享 DataCastle运营发表于 2016-3-24 14:49:32 533 0 0 答辩PPT
Data Structure Visualizations
https://www.cs.usfca.edu/~galles/visualization/Algorithms.html
基于CentOS 搭建 Seafile 专属网盘
系统要求:CentOS 7.2 64 位操作系统安装 Seafile 安装依赖环境使用 yum 安装 Python 及 MySQL: yum install python python-setup ...
【java】求两个字符串的最长公共子串
这个是华为OJ上的一道题目.首先,如果我们用java写代码,华为OJ有以下三条规则需遵守,否则编译无法通过或者用例无法通过,规则如下: (1)一定不可以有包名: (2)主类名只能为Main: (3)不 ...
Web前端，HTML5开发，前端资源，前端网址，前端博客，前端框架整理 - 转改
Web前端/H5开发,前端资源,前端网址,前端博客,前端框架整理综合类前端知识体系前端知识结构 Web前端开发大系概览 Web前端开发大系概览-中文版 Web Front-end Stack v ...
【转】Java异常总结和Spring事务处理异常机制浅析
异常的概念和Java异常体系结构异常是程序运行过程中出现的错误.本文主要讲授的是Java语言的异常处理.Java语言的异常处理框架,是Java语言健壮性的一个重要体现. Thorwable类所有异常 ...
pandas通过皮尔逊积矩线性相关系数（Pearson's r）计算数据相关性
皮尔逊积矩线性相关系数(Pearson's r)用于计算两组数组之间是否有线性关联,举个例子: a = pd.Series([1,2,3,4,5,6,7,8,9,10]) b = pd.Series( ...
【Jetty】Jetty 的工作原理以及与 Tomcat 的比较
Jetty 应该是目前最活跃也是很有前景的一个 Servlet 引擎.本文将介绍 Jetty 基本架构与基本的工作原理:您将了解到 Jetty 的基本体系结构:Jetty 的启动过程:Jetty 如何 ...
ES6，Array.of()函数的用法
ES6为Array增加了of函数用已一种明确的含义将一个或多个值转换成数组. 因为,用new Array()构造数组的时候,是有二意性的. 构造时,传一个参数,表示生成多大的数组. 构造时,传多个参数 ...

redis（二）--用Redis作MySQL数据库缓存

redis（二）--用Redis作MySQL数据库缓存的更多相关文章

随机推荐

热门专题