Redis持久化存储（一）

Redis介绍

Redis 是完全开源免费的，遵守BSD协议，是一个高性能的key-value数据库。

Redis 与其他 key - value 缓存产品有以下三个特点：

Redis支持数据的持久化，可以将内存中的数据保持在磁盘中，重启的时候可以再次加载进行使用。

Redis不仅仅支持简单的key-value类型的数据，同时还提供list，set，zset，hash等数据结构的存储。

Redis支持数据的备份，即master-slave模式的数据备份。

Redis 优势

性能极高 – Redis能读的速度是110000次/s,写的速度是81000次/s 。

丰富的数据类型 – Redis支持二进制案例的 Strings, Lists, Hashes, Sets 及 Ordered Sets 数据类型操作。

原子 – Redis的所有操作都是原子性的，同时Redis还支持对几个操作全并后的原子性执行。

丰富的特性 – Redis还支持 publish/subscribe, 通知, key 过期等等特性。

Redis与其他key-value存储有什么不同？

Ÿ   Redis有着更为复杂的数据结构并且提供对他们的原子性操作，这是一个不同于其他数据库的进化路径。Redis的数据类型都是基于基本数据结构的同时对程序员透明，无需进行额外的抽象。

Ÿ   Redis运行在内存中但是可以持久化到磁盘，所以在对不同数据集进行高速读写时需要权衡内存，应为数据量不能大于硬件内存。在内存数据库方面的 另一个优点是， 相比在磁盘上相同的复杂的数据结构，在内存中操作起来非常简单，这样Redis可以做很多内部复杂性很强的事情。 同时，在磁盘格式方面他们是紧凑的以追加的方式产生的，因为他们并不需要进行随机访问。

　Remote Dictionary Server（Redis）是一个基于 key-value 键值对的持久化数据库存储系统。redis 和 Memcached 缓存服务很像，但它支持存储的 value 类型相对更多，包括 string (字符串)、list (链表)、set (集合)、zset (sorted set --有序集合)和 hash（哈希类型）。这些数据类型都 支持 push/pop、add/remove 及取交集并集和差集及更丰富的操作，而且这些操作都是原子性的。在此基础上，redis 支持各种不同方式的排序。与 memcached 一样，为了保证效率，数据都是缓存在内存中。区别的是 redis 会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件，并且在此基础上实现了 master-slave (主从)同步。

redis 的出现，再一定程度上弥补了 Memcached 这类 key-value 内存换乘服务的不足，在部分场合可以对关系数据库起到很好的补充作用。redis 提供了 Python，Ruby，Erlang，PHP 客户端，使用方便。官方文档： https://redis.io/documentation

Redis 在新浪微博中的应用

http://www.cnblogs.com/me115/p/3482783.html

Redis 安装和使用实例

环境：
[root@redis /]# uname -r
2.6.32-504.el6.x86_64
[root@redis /]# ifconfig eth0|awk -F '[ :]+' 'NR==2{print $4}'
192.168.179.161
[root@redis /]# cat /etc/redhat-release
CentOS release 6.6 (Final)
[root@redis /]# /etc/init.d/iptables status
iptables：未运行防火墙。
[root@redis /]# getenforce
Permissive
#3.0版本源码安装也一样
wget -q http://download.redis.io/releases/redis-2.8.9.tar.gz
tar xf redis-2.8.9.tar.gz
cd redis-2.8.9
#less README
make MALLOC=jemalloc
make PREFIX=/application/redis-2.8.9 install
ln -s /application/redis-2.8.9/ /application/redis

tree /application/redis
/application/redis
`-- bin
    |-- redis-benchmark     # Redis性能测试工具，测试Redis在系统及你的配置下的读写性能。
    |-- redis-check-aof     # 更新日志检查。
    |-- redis-check-dump    # 用于本地数据库检查。
    |-- redis-cli           # Redis命令行操作工具。也可以telnet根据其纯文本协议操作
    `-- redis-server        # Redis服务器的daemon启动程序。
1 directory, 5 files
配置环境变量
[root@redis01 redis-2.8.9]# echo 'export PATH=/application/redis/bin/:$PATH' >>/etc/profile
[root@redis01 redis-2.8.9]#
[root@redis01 redis-2.8.9]# tail -1 /etc/profile
export PATH=/application/redis/bin/:$PATH
[root@redis01 redis-2.8.9]# . /etc/profile
[root@redis01 redis-2.8.9]# which redis-server
/application/redis/bin/redis-server
拷贝生成配置文件
[root@redis01 redis-2.8.9]#  mkdir /application/redis/conf
[root@redis01 redis-2.8.9]# pwd
 [root@redis01 redis-2.8.9]# cp redis.conf /application/redis/conf/
启动redis
redis-server /application/redis/conf/redis.conf &
[20222] 29 Nov 20:43:48.571 # WARNING overcommit_memory is set to 0! Background save may fail under low memory condition. To fix this issue add 'vm.overcommit_memory = 1' to /etc/sysctl.conf and then reboot or run the command 'sysctl vm.overcommit_memory=1' for this to take effect.
[20222] 29 Nov 20:43:48.571 * The server is now ready to accept connections on port 6379
检查端口
lsof -i :6379
COMMAND     PID USER   FD   TYPE  DEVICE SIZE/OFF NODE NAME
redis-ser 20222 root    4u  IPv6 1523437      0t0  TCP *:6379 (LISTEN)
redis-ser 20222 root    5u  IPv4 1523439      0t0  TCP *:6379 (LISTEN)

去掉上面的警告信息
sysctl vm.overcommit_memory=1
echo 'vm.overcommit_memory=1' >>/etc/sysctl.conf
sysctl -p
关闭redis操作的命令
redis-cli shutdown save

常见操作

[root@redis01 redis-2.8.9]# redis-cli
127.0.0.1:6379> set id 001  #插入数据：设置一个key-value对
OK
127.0.0.1:6379> get id   #查询数据：取出key所对应的value
""
127.0.0.1:6379> del id #删除键值
(integer) 1
127.0.0.1:6379> get id  #查询数据
(nil)
127.0.0.1:6379> exists id   #验证是否存在，1代表存在，0代表不存在
(integer) 0

127.0.0.1:6379> set user001 oldboy
OK
127.0.0.1:6379> set user002 zsq
OK
127.0.0.1:6379> set user003 test
OK
127.0.0.1:6379> get user001
"oldboy"
127.0.0.1:6379> keys *   #取出所有
1) "user003"
2) "user002"
3) "user001"

select可以切换库从0到15  ，在第一个库创建的内容其它库是不可见的
127.0.0.1:6379> select 1
OK
127.0.0.1:6379[1]> keys *
(empty list or set)
127.0.0.1:6379[1]> set name oldboy
OK
127.0.0.1:6379[1]> get name
"oldboy"
127.0.0.1:6379[1]> select 0
OK
127.0.0.1:6379> keys *
1) "user003"
2) "user002"
3) "user001"
127.0.0.1:6379> select 16
(error) ERR invalid DB index
127.0.0.1:6379[16]> select 15
OK

其它连接方式

redis-cli -h 192.168.179.162 -p 6379
非交互式
[root@redis01 redis-2.8.9]# redis-cli -h 192.168.179.162 -p 6379 set k v
OK
[root@redis01 redis-2.8.9]# redis-cli -h 192.168.179.162 -p 6379 get k
"v"
telnet 加IP 加端口也可以
[root@redis01 redis-2.8.9]# telnet 192.168.179.162 6379
Trying 192.168.179.162...
Connected to 192.168.179.162.
Escape character is '^]'.
set a b
+OK
get a
$1
B
nc的方式
[root@redis01 redis-2.8.9]# echo "set no004 zsq"|nc 127.0.0.1 6379
+OK
[root@redis01 redis-2.8.9]# echo "get no004 "|nc 127.0.0.1 6379
$3
zsq

redis的帮助

redis-cli  --help
192.168.179.162:6379> help
redis-cli 2.8.9
Type: "help @<group>" to get a list of commands in <group>
      "help <command>" for help on <command>
      "help <tab>" to get a list of possible help topics
      "quit" to exit

redis的安全账户密码及授权权限

vim /application/redis/conf/redis.conf
335 # Warning: since Redis is pretty fast an outside user can try up to
336 # 150k passwords per second against a good box. This means that you should
337 # use a very strong password otherwise it will be very easy to break.、
339行设置密码
339 requirepass zsq
重启生效
redis-cli shutdown
 redis-server /application/redis/conf/redis.conf &

[root@redis01 redis-2.8.9]# redis-cli
127.0.0.1:6379> set k v
(error) NOAUTH Authentication required. #提示权限不够
127.0.0.1:6379> auth zsq  #用auth加密码
OK
127.0.0.1:6379> set k v
OK
非交互式 –a指定密码
[root@redis01 redis-2.8.9]# redis-cli -a zsq
127.0.0.1:6379> set k2 v2
OK
127.0.0.1:6379> get k2
"v2"
停止redis
redis-cli -a zsq shutdown
可以屏蔽跟改名
# It is possible to change the name of dangerous commands in a shared
# environment. For instance the CONFIG command may be renamed into something
# hard to guess so that it will still be available for internal-use tools
# but not available for general clients.
#
# Example:
#
# rename-command CONFIG b840fc02d524045429941cc15f59e41cb7be6c52
#
# It is also possible to completely kill a command by renaming it into
# an empty string:
#
rename-command set ""  #比如屏蔽这个set

[root@redis01 redis-2.8.9]# redis-cli shutdown
(error) NOAUTH Authentication required.#关闭都没权限
[root@redis01 redis-2.8.9]# redis-cli -a zsq shutdown #指定密码关闭
[root@redis01 redis-2.8.9]# redis-server /application/redis/conf/redis.conf & #启动
[root@redis01 redis-2.8.9]# redis-cli
127.0.0.1:6379> set k v #执行set
(error) ERR unknown command 'set'   #提示找不到这个命令
127.0.0.1:6379>

在php环境中安装redis的客户端扩展

# 1、下载安装
wget https://github.com/phpredis/phpredis/archive/master.zip

unzip phpredis-master.zip
cd phpredis-master
/application/php/bin/phpize
./configure --with-php-config=/application/php/bin/php-config
make
make install

cd/application/php-5.6.8/lib/php/extensions/no-debug-non-zts-20131226/
ls
memcache.so  opcache.a  opcache.so  redis.so

# 2、修改php.ini设置，重启php
在php.ini追加一条记录
echo "extension = redis.so" >> /application/php/lib/php.ini

#重启 php-fpm
killall php-fpm
/application/php/sbin/php-fpm

#网页测试

php程序实战操作redis服务

必须要有php环境
cat /application/php/bin/php 1.php
<?php
     $redis = new Redis();
     $redis ->connect('192.168.179.162',6379);
     $redis ->auth('zsq');
     $redis ->set('name','zsq');
     $var = $redis ->get('name');
     echo "$var\n";
?>

Python操作Redis

pip install redis
or
sudo easy_install redis
or
sudo python setup.py install

详见：
https://github.com/WoLpH/redis-py
https://pypi.python.org/pypi/redis
https://redislabs.com/python-redis

逐条解读redis服务的配置文件

[root@redis01 redis-2.8.9]# grep -vE "#|^$" /application/redis/conf/redis.conf
daemonize no    #在后台运行
pidfile /var/run/redis.pid  #pid file
port 6379 #默认端口
tcp-backlog 511 #tcp的队列
# bind 192.168.1.100 10.0.0.1  #默认监听所有，如果有外网的环境需要监听内网的
# bind 127.0.0.1
timeout 0  #客户端的超时，0表示不超时
tcp-keepalive 0 #tcp的会话保持
loglevel notice #日志级别
logfile "" #可以把日志记到log文件，不输出到屏幕
# syslog-facility local0  #日志设备，日志集中收集可以把注释去掉
databases 16 #设置数据库的数量，类似mysql的数据库
save 900 1
save 300 10
save 60 10000
#以上三项是快照
stop-writes-on-bgsave-error yes #如果bgsave出错是否停止写
rdbcompression yes #在dump的时候要不要压缩，压缩会消耗cpu
rdbchecksum yes #rdb的检查
dbfilename dump.rdb #dump的磁盘文件
dir ./ #控制上边选项的路径的，当前路径
slave-serve-stale-data yes #主从同步
slave-read-only yes
repl-disable-tcp-nodelay no
slave-priority 100
requirepass zsq  #安全选项，授权密码
appendonly no
appendfilename "appendonly.aof"
appendfsync everysec
no-appendfsync-on-rewrite no
auto-aof-rewrite-percentage 100 #自动保持rewrite
auto-aof-rewrite-min-size 64mb
lua-time-limit 5000 #lua脚本实现更多生产场景
slowlog-log-slower-than 10000
slowlog-max-len 128
notify-keyspace-events ""
hash-max-ziplist-entries 512 #hash优化参数
hash-max-ziplist-value 64
list-max-ziplist-entries 512
list-max-ziplist-value 64
set-max-intset-entries 512
zset-max-ziplist-entries 128
zset-max-ziplist-value 64
hll-sparse-max-bytes 3000
activerehashing yes
client-output-buffer-limit normal 0 0 0
client-output-buffer-limit slave 256mb 64mb 60
client-output-buffer-limit pubsub 32mb 8mb 60
hz 10
aof-rewrite-incremental-fsync yes

参数说明

redis.conf 配置项说明如下：
1. Redis默认不是以守护进程的方式运行，可以通过该配置项修改，使用yes启用守护进程
    daemonize no
2. 当Redis以守护进程方式运行时，Redis默认会把pid写入/var/run/redis.pid文件，可以通过pidfile指定
    pidfile /var/run/redis.pid
3. 指定Redis监听端口，默认端口为6379，作者在自己的一篇博文中解释了为什么选用6379作为默认端口，因为6379在手机按键上MERZ对应的号码，而MERZ取自意大利歌女Alessia Merz的名字
    port 6379
4. 绑定的主机地址
    bind 127.0.0.1
5.当 客户端闲置多长时间后关闭连接，如果指定为0，表示关闭该功能
    timeout 300
6. 指定日志记录级别，Redis总共支持四个级别：debug、verbose、notice、warning，默认为verbose
    loglevel verbose
7. 日志记录方式，默认为标准输出，如果配置Redis为守护进程方式运行，而这里又配置为日志记录方式为标准输出，则日志将会发送给/dev/null
    logfile stdout
8. 设置数据库的数量，默认数据库为0，可以使用SELECT <dbid>命令在连接上指定数据库id
    databases 16
9. 指定在多长时间内，有多少次更新操作，就将数据同步到数据文件，可以多个条件配合
    save <seconds> <changes>
    Redis默认配置文件中提供了三个条件：
    save 900 1
    save 300 10
    save 60 10000
    分别表示900秒（15分钟）内有1个更改，300秒（5分钟）内有10个更改以及60秒内有10000个更改。

10. 指定存储至本地数据库时是否压缩数据，默认为yes，Redis采用LZF压缩，如果为了节省CPU时间，可以关闭该选项，但会导致数据库文件变的巨大
    rdbcompression yes
11. 指定本地数据库文件名，默认值为dump.rdb
    dbfilename dump.rdb
12. 指定本地数据库存放目录
    dir ./
13. 设置当本机为slav服务时，设置master服务的IP地址及端口，在Redis启动时，它会自动从master进行数据同步
    slaveof <masterip> <masterport>
14. 当master服务设置了密码保护时，slav服务连接master的密码
    masterauth <master-password>
15. 设置Redis连接密码，如果配置了连接密码，客户端在连接Redis时需要通过AUTH <password>命令提供密码，默认关闭
    requirepass foobared
16. 设置同一时间最大客户端连接数，默认无限制，Redis可以同时打开的客户端连接数为Redis进程可以打开的最大文件描述符数，如果设置 maxclients 0，表示不作限制。当客户端连接数到达限制时，Redis会关闭新的连接并向客户端返回max number of clients reached错误信息
    maxclients 128
17. 指定Redis最大内存限制，Redis在启动时会把数据加载到内存中，达到最大内存后，Redis会先尝试清除已到期或即将到期的Key，当此方法处理 后，仍然到达最大内存设置，将无法再进行写入操作，但仍然可以进行读取操作。Redis新的vm机制，会把Key存放内存，Value会存放在swap区
    maxmemory <bytes>
18. 指定是否在每次更新操作后进行日志记录，Redis在默认情况下是异步的把数据写入磁盘，如果不开启，可能会在断电时导致一段时间内的数据丢失。因为 redis本身同步数据文件是按上面save条件来同步的，所以有的数据会在一段时间内只存在于内存中。默认为no
    appendonly no
19. 指定更新日志文件名，默认为appendonly.aof
     appendfilename appendonly.aof
20. 指定更新日志条件，共有3个可选值：     no：表示等操作系统进行数据缓存同步到磁盘（快）     always：表示每次更新操作后手动调用fsync()将数据写到磁盘（慢，安全）     everysec：表示每秒同步一次（折衷，默认值）
    appendfsync everysec

21. 指定是否启用虚拟内存机制，默认值为no，简单的介绍一下，VM机制将数据分页存放，由Redis将访问量较少的页即冷数据swap到磁盘上，访问多的页面由磁盘自动换出到内存中（在后面的文章我会仔细分析Redis的VM机制）
     vm-enabled no
22. 虚拟内存文件路径，默认值为/tmp/redis.swap，不可多个Redis实例共享
     vm-swap-file /tmp/redis.swap
23. 将所有大于vm-max-memory的数据存入虚拟内存,无论vm-max-memory设置多小,所有索引数据都是内存存储的(Redis的索引数据 就是keys),也就是说,当vm-max-memory设置为0的时候,其实是所有value都存在于磁盘。默认值为0
     vm-max-memory 0
24. Redis swap文件分成了很多的page，一个对象可以保存在多个page上面，但一个page上不能被多个对象共享，vm-page-size是要根据存储的 数据大小来设定的，作者建议如果存储很多小对象，page大小最好设置为32或者64bytes；如果存储很大大对象，则可以使用更大的page，如果不 确定，就使用默认值
     vm-page-size 32
25. 设置swap文件中的page数量，由于页表（一种表示页面空闲或使用的bitmap）是在放在内存中的，，在磁盘上每8个pages将消耗1byte的内存。
     vm-pages 134217728
26. 设置访问swap文件的线程数,最好不要超过机器的核数,如果设置为0,那么所有对swap文件的操作都是串行的，可能会造成比较长时间的延迟。默认值为4
     vm-max-threads 4
27. 设置在向客户端应答时，是否把较小的包合并为一个包发送，默认为开启
    glueoutputbuf yes
28. 指定在超过一定的数量或者最大的元素超过某一临界值时，采用一种特殊的哈希算法
    hash-max-zipmap-entries 64
    hash-max-zipmap-value 512
29. 指定是否激活重置哈希，默认为开启（后面在介绍Redis的哈希算法时具体介绍）
    activerehashing yes
30. 指定包含其它的配置文件，可以在同一主机上多个Redis实例之间使用同一份配置文件，而同时各个实例又拥有自己的特定配置文件
    include /path/to/local.conf

Redis 数据类型

Redis支持五种数据类型：string（字符串），hash（哈希），list（列表），set（集合）及zset(sorted set：有序集合)。

String（字符串）

string是redis最基本的类型，你可以理解成与Memcached一模一样的类型，一个key对应一个value。

string类型是二进制安全的。意思是redis的string可以包含任何数据。比如jpg图片或者序列化的对象 。

string类型是Redis最基本的数据类型，一个键最大能存储512MB。

[root@redis01 redis-2.8.9]# redis-cli
127.0.0.1:6379> set name "redis.net.cn"
OK
127.0.0.1:6379> get name
"redis.net.cn"

在以上实例中我们使用了 Redis 的 SET 和 GET 命令。键为 name，对应的值为redis.net.cn。

注意：一个键最大能存储512MB。

Hash（哈希）

Redis hash 是一个键值对集合。

Redis hash是一个string类型的field和value的映射表，hash特别适合用于存储对象。

实例

redis 127.0.0.1:6379> HMSET user:1 username redis.net.cn password redis.net.cn points 200
OK
redis 127.0.0.1:6379> HGETALL user:1
1) "username"
2) "redis.net.cn"
3) "password"
4) "redis.net.cn"
5) "points"
6) ""
redis 127.0.0.1:6379>

List（列表）

Redis 列表是简单的字符串列表，按照插入顺序排序。你可以添加一个元素导列表的头部（左边）或者尾部（右边）。

127.0.0.1:6379> lpush students liubing
(integer) 1
127.0.0.1:6379> lpush students zhangjie zsq
(integer) 3
127.0.0.1:6379> lpush students siqing
(integer) 4
127.0.0.1:6379> llen students
(integer) 4
127.0.0.1:6379> lrange students 0 3
1) "siqing"
2) "zsq"
3) "zhangjie"
4) "liubing"

列表最多可存储 2^{32 - 1} 元素 (4294967295, 每个列表可存储40多亿)。

Set（集合）

Redis的Set是string类型的无序集合。

集合是通过哈希表实现的，所以添加，删除，查找的复杂度都是O(1)。

sadd 命令

添加一个string元素到,key对应的set集合中，成功返回1,如果元素以及在集合中返回0,key对应的set不存在返回错误。

sadd key member
实例
redis 127.0.0.1:6379> sadd redis.net.cn redis
(integer) 1
redis 127.0.0.1:6379> sadd redis.net.cn mongodb
(integer) 1
redis 127.0.0.1:6379> sadd redis.net.cn rabitmq
(integer) 1
redis 127.0.0.1:6379> sadd redis.net.cn rabitmq
(integer) 0
redis 127.0.0.1:6379> smembers redis.net.cn

1) "rabitmq"
2) "mongodb"
3) "redis"

注意：以上实例中 rabitmq 添加了两次，但根据集合内元素的唯一性，第二次插入的元素将被忽略。

集合中最大的成员数为 2^{32 - 1} (4294967295, 每个集合可存储40多亿个成员)。

zset(sorted set：有序集合)

Redis zset 和 set 一样也是string类型元素的集合,且不允许重复的成员。

不同的是每个元素都会关联一个double类型的分数。redis正是通过分数来为集合中的成员进行从小到大的排序。

zset的成员是唯一的,但分数(score)却可以重复。

zadd 命令

添加元素到集合，元素在集合中存在则更新对应score

zadd key score member 

实例

redis 127.0.0.1:6379> zadd redis.net.cn 0 redis
(integer) 1
redis 127.0.0.1:6379> zadd redis.net.cn 0 mongodb
(integer) 1
redis 127.0.0.1:6379> zadd redis.net.cn 0 rabitmq
(integer) 1
redis 127.0.0.1:6379> zadd redis.net.cn 0 rabitmq
(integer) 0
redis 127.0.0.1:6379> ZRANGEBYSCORE redis.net.cn 0 1000

1) "redis"
2) "mongodb"
3) "rabitmq"