redis（二）--用Redis作MySQL数据库缓存

用Redis作MySQL 数据库缓存，必须解决2个问题。首先，应该确定用何种数据结构存储来自mysql的数据；在确定数据结构之后，还要考虑用什么标识作为该数据结构的键。

直观上看，Mysql中的数据都是按表存储的；更微观地看，这些表都是按行存储的。每执行一次select查询，Mysql都会返回一个结果集，这个结果集由若干行组成。所以，一个自然而然的想法就是在redis中找到一种对应于Mysql行的数据结构。Redis中提供了五种基本数据结构，即字符串（string）、列表（list）、哈希（hash）、集合（set）和有序集合（sorted set）。经过调研，发现适合存储行的数据结构有两种，即string和hash。

要把Mysql的行数据存入string，首先需要对行数据进行格式化。事实上，结果集的每一行都可以看做若干由字段名和其对应值组成的键值对集合。这种键值对结构很容易让我们想起Json格式。因此，这里选用Json格式作为结果集每一行的格式化模板。根据这一想法，我们可以实现将结果集格式化为若干Json对象，并将Json对象转化为字符串存入Redis的代码：

// 该函数把结果集中的每一行转换为一个Json格式的字符串并存入Redis的STRING结构中，
// STRING键应该包含结果集标识符和STRING编号，形式如“cache.string:123456:1”
string Cache2String(sql::Connection *mysql_connection,
redisContext *redis_connection,
sql::ResultSet *resultset,
const string &resultset_id, int ttl) {
if (resultset->rowsCount() == 0) {
throw runtime_error("FAILURE - no rows");
}
// STRING键的前缀，包含了结果集的标识符
string prefix("cache.string:" + resultset_id + ":");
unsigned int num_row = 1; // STRING编号，附加于STRING键的末尾，从1开始
sql::ResultSetMetaData *meta = resultset->getMetaData();
unsigned int num_col = meta->getColumnCount();
// 将结果集中所有行对应的所有STRING键存入该SET，SET键包含了结果集的标识符
string redis_row_set_key("resultset.string:" + resultset_id);
redisReply *reply;
string ttlstr;
stringstream ttlstream;
ttlstream << ttl;
ttlstr = ttlstream.str();
resultset->beforeFirst();
// 将结果集中的每一行转为Json格式的字符串，将这些Json字符串存入STRING，
// 每个STRING对应结果集中的一行
while (resultset->next()) {
string redis_row_key; // STRING键名，由前缀和STRING编号组成
stringstream keystream;
keystream << prefix << num_row;
redis_row_key = keystream.str();
Json::Value row;
for (int i = 1; i <= num_col; ++i) {
string col_label = meta->getColumnLabel(i);
string col_value = resultset->getString(col_label);
row[col_label] = col_value;
}
Json::FastWriter writer;
string redis_row_value = writer.write(row);
// 将STRING键及Json格式的对应值对存入Redis
reply = static_cast<redisReply*>(redisCommand(redis_connection,
"SET %s %s",
redis_row_key.c_str(),
redis_row_value.c_str()));
freeReplyObject(reply);
// 将STRING键加入SET中
reply = static_cast<redisReply*>(redisCommand(redis_connection,
"SADD %s %s",
redis_row_set_key.c_str(),
redis_row_key.c_str()));
freeReplyObject(reply);
// 设置STRING的过期时间
reply = static_cast<redisReply*>(redisCommand(redis_connection,
"EXPIRE %s %s",
redis_row_key.c_str(),
ttlstr.c_str()));
freeReplyObject(reply);
++num_row;
}
// 设置SET的过期时间
reply = static_cast<redisReply*>(redisCommand(redis_connection,
"EXPIRE %s %s",
redis_row_set_key.c_str(),
ttlstr.c_str()));
freeReplyObject(reply);
return redis_row_set_key; // 返回SET键，以便于其他函数获取该SET中的内容
}

// 该函数把结果集中的每一行转换为一个Json格式的字符串并存入Redis的STRING结构中，

// STRING键应该包含结果集标识符和STRING编号，形式如“cache.string:123456:1”

string Cache2String(sql::Connection *mysql_connection,

                    redisContext *redis_connection,

                    sql::ResultSet *resultset,

                    const string &resultset_id, int ttl) {

  if (resultset->rowsCount() == 0) {

    throw runtime_error("FAILURE - no rows");

  }

  // STRING键的前缀，包含了结果集的标识符

  string prefix("cache.string:" + resultset_id + ":");

  unsigned int num_row = 1;  // STRING编号，附加于STRING键的末尾，从1开始

  sql::ResultSetMetaData *meta = resultset->getMetaData();

  unsigned int num_col = meta->getColumnCount();

  // 将结果集中所有行对应的所有STRING键存入该SET，SET键包含了结果集的标识符

  string redis_row_set_key("resultset.string:" + resultset_id);

  redisReply *reply;

  string ttlstr;

  stringstream ttlstream;

  ttlstream << ttl;

  ttlstr = ttlstream.str();

  resultset->beforeFirst();

  // 将结果集中的每一行转为Json格式的字符串，将这些Json字符串存入STRING，

  // 每个STRING对应结果集中的一行

  while (resultset->next()) {

    string redis_row_key;  // STRING键名，由前缀和STRING编号组成

    stringstream keystream;

    keystream << prefix << num_row;

    redis_row_key = keystream.str();

    Json::Value row;

    for (int i = 1; i <= num_col; ++i) {

      string col_label = meta->getColumnLabel(i);

      string col_value = resultset->getString(col_label);

      row[col_label] = col_value;

    }

    Json::FastWriter writer;

    string redis_row_value = writer.write(row);

	// 将STRING键及Json格式的对应值对存入Redis

    reply = static_cast<redisReply*>(redisCommand(redis_connection,

                                                 "SET %s %s",

                                                 redis_row_key.c_str(),

                                                 redis_row_value.c_str()));

    freeReplyObject(reply);

    // 将STRING键加入SET中

    reply = static_cast<redisReply*>(redisCommand(redis_connection,

                                                 "SADD %s %s",

                                                 redis_row_set_key.c_str(),

                                                 redis_row_key.c_str()));

    freeReplyObject(reply);

    // 设置STRING的过期时间

    reply = static_cast<redisReply*>(redisCommand(redis_connection,

                                                 "EXPIRE %s %s",

                                                 redis_row_key.c_str(),

                                                 ttlstr.c_str()));

    freeReplyObject(reply);

    ++num_row;

  }

  // 设置SET的过期时间

  reply = static_cast<redisReply*>(redisCommand(redis_connection,

                                               "EXPIRE %s %s",

                                               redis_row_set_key.c_str(),

                                               ttlstr.c_str()));

  freeReplyObject(reply);

  return redis_row_set_key;  // 返回SET键，以便于其他函数获取该SET中的内容

}

要把Mysql的行数据存入hash，过程要比把数据存入string直观很多。这是由hash的结构性质决定的——hash本身就是一个键值对集合：一个“父键”下面包含了很多“子键”，每个“子键”都对应一个值。根据前面的分析可知，结果集中的每一行实际上也是键值对集合。用Redis键值对集合表示Mysql键值对集合应该再合适不过了：对于结果集中的某一行，字段对应于hash的“子键”，字段对应的值就是hash“子键”对应的值，即结果集的一行刚好对应一个hash。这一想法的实现代码如下：

// 该函数把结果集中的每一行都存入一个HASH结构。HASH键应当包括结果集标识符和HASH编号，
// 形如“cache.string:123456:1”
string Cache2Hash(sql::Connection *mysql_connection,
redisContext *redis_connection,
sql::ResultSet *resultset,
const string &resultset_id, int ttl) {
if (resultset->rowsCount() == 0) {
throw runtime_error("FAILURE - no rows");
}
// HASH键的前缀，包含了结果集的标识符
string prefix("cache.hash:" + resultset_id + ":");
unsigned int num_row = 1; // HASH编号，附加于HASH键的末尾，从1开始
sql::ResultSetMetaData *meta = resultset->getMetaData();
unsigned int num_col = meta->getColumnCount();
// 将结果集中所有行对应的所有HASH键存入该SET，SET键包含了结果集的标识符
string redis_row_set_key("resultset.hash:" + resultset_id);
redisReply *reply;
string ttlstr;
stringstream ttlstream;
ttlstream << ttl;
ttlstr = ttlstream.str();
// 结果集中的每一行对应于一个HASH，将结果集的所有行都存入相应HASH中
resultset->beforeFirst();
while (resultset->next()) {
string redis_row_key; // HASH键名，由前缀和HASH编号组成
stringstream keystream;
keystream << prefix << num_row;
redis_row_key = keystream.str();
for (int i = 1; i <= num_col; ++i) {
string col_label = meta->getColumnLabel(i);
string col_value = resultset->getString(col_label);
// 将结果集中一行的字段名和对应值存入HASH
reply = static_cast<redisReply*>(redisCommand(redis_connection,
"HSET %s %s %s",
redis_row_key.c_str(),
col_label.c_str(),
col_value.c_str()));
freeReplyObject(reply);
}
// 将HASH键加入SET中
reply = static_cast<redisReply*>(redisCommand(redis_connection,
"SADD %s %s",
redis_row_set_key.c_str(),
redis_row_key.c_str()));
freeReplyObject(reply);
// 设置HASH的过期时间
reply = static_cast<redisReply*>(redisCommand(redis_connection,
"EXPIRE %s %s",
redis_row_key.c_str(),
ttlstr.c_str()));
freeReplyObject(reply);
++num_row;
}
// 设置SET的过期时间
reply = static_cast<redisReply*>(redisCommand(redis_connection,
"EXPIRE %s %s",
redis_row_set_key.c_str(),
ttlstr.c_str()));
freeReplyObject(reply);
return redis_row_set_key; // 返回SET键，以便于其他函数获取该SET中的内容
}

// 该函数把结果集中的每一行都存入一个HASH结构。HASH键应当包括结果集标识符和HASH编号，

// 形如“cache.string:123456:1”

string Cache2Hash(sql::Connection *mysql_connection,

                  redisContext *redis_connection,

                  sql::ResultSet *resultset,

                  const string &resultset_id, int ttl) {

  if (resultset->rowsCount() == 0) {

    throw runtime_error("FAILURE - no rows");

  }

  // HASH键的前缀，包含了结果集的标识符

  string prefix("cache.hash:" + resultset_id + ":");

  unsigned int num_row = 1;  // HASH编号，附加于HASH键的末尾，从1开始

  sql::ResultSetMetaData *meta = resultset->getMetaData();

  unsigned int num_col = meta->getColumnCount();

  // 将结果集中所有行对应的所有HASH键存入该SET，SET键包含了结果集的标识符

  string redis_row_set_key("resultset.hash:" + resultset_id);

  redisReply *reply;

  string ttlstr;

  stringstream ttlstream;

  ttlstream << ttl;

  ttlstr = ttlstream.str();

  // 结果集中的每一行对应于一个HASH，将结果集的所有行都存入相应HASH中

  resultset->beforeFirst();

  while (resultset->next()) {

    string redis_row_key;  // HASH键名，由前缀和HASH编号组成

    stringstream keystream;

    keystream << prefix << num_row;

    redis_row_key = keystream.str();

    for (int i = 1; i <= num_col; ++i) {

      string col_label = meta->getColumnLabel(i);

      string col_value = resultset->getString(col_label);

	  // 将结果集中一行的字段名和对应值存入HASH

      reply = static_cast<redisReply*>(redisCommand(redis_connection,

                                                   "HSET %s %s %s",

                                                   redis_row_key.c_str(),

                                                   col_label.c_str(),

                                                   col_value.c_str()));

      freeReplyObject(reply);

    }

	// 将HASH键加入SET中

    reply = static_cast<redisReply*>(redisCommand(redis_connection,

                                                 "SADD %s %s",

                                                 redis_row_set_key.c_str(),

                                                 redis_row_key.c_str()));

    freeReplyObject(reply);

	// 设置HASH的过期时间

    reply = static_cast<redisReply*>(redisCommand(redis_connection,

                                                 "EXPIRE %s %s",

                                                 redis_row_key.c_str(),

                                                 ttlstr.c_str()));

    freeReplyObject(reply);

    ++num_row;

  }

  // 设置SET的过期时间

  reply = static_cast<redisReply*>(redisCommand(redis_connection,

                                               "EXPIRE %s %s",

                                               redis_row_set_key.c_str(),

                                               ttlstr.c_str()));

  freeReplyObject(reply);

  return redis_row_set_key;  // 返回SET键，以便于其他函数获取该SET中的内容

}

至此，我们已经给出了两种存储Mysql结果集的方案，这就是我们在篇首提出的第一个问题，即选择何种数据结构存储Mysql结果集的答案。下一篇文章将研究第二个问题，即数据结构键的标识符选择问题。

redis（二）--用Redis作MySQL数据库缓存的更多相关文章

用Redis作Mysql数据库缓存
使用redis作mysql数据库缓存时,需要考虑两个问题: 1.确定用何种数据结构存储来自Mysql的数据; 2.在确定数据结构之后,用什么标识作为该数据结构的键. 直观上看,Mysql中的数据都是按 ...
MySql数据库缓存
对MySql查询缓存及SQL Server过程缓存的理解及总结一.MySql的Query Cache 1.Query Cache MySQL Query Cache是用来缓存我们所执行的SELE ...
mysql 数据库缓存调优之解决The total number of locks exceeds the lock table size错误
环境: mysql5.6.2 主从同步(备注:需操作主库和从库) 一.InnoDB表执行大批量数据的更新,插入,删除操作时会出现这个问题,需要调整InnoDB全局的innodb_buffer_poo ...
【数据库】mysql数据库缓存
配置文件在 /etc/mysql/my.cnf ################### 第一部分:查询数据库缓存相关变量 ################### show variables like ...
python-操作MySQL数据库
1.安装MySQLdb? 为了用DB-API编写MySQL脚本,必须确保已经安装了MySQL.复制以下代码,并执行: #!/usr/bin/python # -*- coding: UTF-8 -*- ...
MySQL实验准备(二)--Python模拟数据(MySQL数据库)
Python模拟数据(MySQL数据库) 数据模拟目的:模拟多个表的插入和查询数据的模拟,再通过基准测试脚本测试服务器性能和收集数据,仿真模拟. 备注: 如果需要基础的python环境,可以查看&l ...
python + docker, 实现天气数据从FTP获取以及持久化（二）-- python操作MySQL数据库
前言在这一节中,我们主要介绍如何使用python操作MySQL数据库. 准备 MySQL数据库使用的是上一节中的docker容器 “test-mysql”. Python 操作 MySQL 我们使用 ...
FLUME安装&环境（二）:拉取MySQL数据库数据到Kafka
Flume安装成功,环境变量配置成功后,开始进行agent配置文件设置. 1.agent配置文件(mysql+flume+Kafka) #利用Flume将MySQL表数据准实时抽取到Kafka a1. ...
Redis(二)、Redis持久化RDB和AOF
一.Redis两种持久化方式对Redis而言,其数据是保存在内存中的,一旦机器宕机,内存中的数据会丢失,因此需要将数据异步持久化到硬盘中保存.这样,即使机器宕机,数据能从硬盘中恢复. 常见的数据持久 ...

随机推荐

MySQL到底能支持多大的数据量？
MySQL是中小型网站普遍使用的数据库之一,然而,很多人并不清楚MySQL到底能支持多大的数据量,再加上某些国内CMS厂商把数据承载量的责任推给它,导致很多不了解MySQL的站长对它产生了很多误解,那 ...
c/c++ 读入一行不确定个数的整数
假设有一个文件,文件的每一行包括n个整数,整数之间以一个空格隔开,文件总共有m行,但是事先不知道n,m.如何每次从文件中读取一行整数放到一个数组中. 可以分为两步:1.首先从文件中读入一行字符串,2. ...
maven本地仓库中存在jar包，但编译不成功，显示jar包不存在
介绍一下背景,项目要迁移进坑人的离线的内网开发,将在同事那编译通过的代码和maven仓库拷进内网,打算编译通过之后再上传私服,结果配好maven之后,本地库中的部分jar包显示没有引入,如下面的波浪线 ...
zabbix监控k8s出现的pod error status
配置zabbix客户端配置文件 vim /etc/zabbix/zabbix_agentd.conf 添加 Include=/etc/zabbix/zabbix_agentd.d/ #!/bin/b ...
（原）MobileNetV2
转载请注明出处: https://www.cnblogs.com/darkknightzh/p/9410574.html 论文: MobileNetV2: Inverted Residuals and ...
计算N个点和M个点之间的距离
KNN中,训练样本有train_count个,测试样本有test_count个,每个样本有attr_count个属性.现在需要快速计算test_count个测试样本和train_count个样本之间的 ...
swift3 与 OC 语法区别
1.Swift还增加了Objective-C中没有的类型比如元组(Tuple). 元组可以让你创建或者传递一组数据,比如作为函数的返回值时,你可以用一个元组可以返回多个值. 元组(tuples)把多个 ...
分区工具parted的详解及常用分区使用方法【转】
来源:http://blog.51cto.com/zhangmingqian/1068779 分区工具parted的详解及常用分区使用方法一. parted的用途及说明概括使用说明 ...
Android平台上最好的几款免费的代码编辑器
使用正确的开发工具能够快速有效地完成源代码的编写和测试,使编程事半功倍.在网络信息高速发展的今天,移动设备的方便快捷已经深入人心,越来越多的程序员会选择在任何感觉舒适的地方使用移动设备查看或者编辑源代 ...
Effective Java 第三版——44. 优先使用标准的函数式接口
Tips <Effective Java, Third Edition>一书英文版已经出版,这本书的第二版想必很多人都读过,号称Java四大名著之一,不过第二版2009年出版,到现在已经将 ...

redis（二）--用Redis作MySQL数据库缓存

redis（二）--用Redis作MySQL数据库缓存的更多相关文章

随机推荐

热门专题