Redis持久化rdb&aof
Redis持久化rdb&aof
前言
持久化:即把数据存储于断电后不会丢失的设备中,通常是硬盘 常见的持久化方式:
主从:通过从服务器保持持久化,如mongoDB的replication sets配置
日志:操作生成相关日志,并通过日志来恢复数据
Redis持久化之RDB(Redis DataBase)
介绍
在指定的时间间隔内将内存中的数据集快照写入磁盘,也就是Snapshot快照,它恢复时是将快照文件直接读到内存里。 每隔N分钟或N次写操作后,从内存dump数据形成rdb文件,压缩放到备份目录。
持久化过程
Redis会单独创建(fork)一个子进程来进行持久化,会先将数据写到一个临时文件中,待持久化过程结束了,再用这个给临时文件替换上次持久化好的文件。
整个过程中,主进程是不进行任何IO操作的,这就确保了极高的性能,如果需要进行大规模数据的恢复,且对于数据恢复的完整性不是非常的敏感,那RDB方式要比AOF方式更加高效。
RDB的缺点是最后一次持久化后的数据可能丢失。
Fork
Fork的作用是复制一个与当前进程一样的进程。新进程的所有数据(变量、环境变量、程序计数器等)数值都和原进程一致,但是是一个全新的进程,并作为原进程的子进程。
补充:
Rdb保存的是dump.rdb文件。
参数
Save
1分钟内改了1万次
5分钟内改了10次
15分钟内改了1次
禁用RDB持久化策略,只要不设置任何save指令,或者save传入一个空字符串参数也可以 Stop-writes-on-bgsave-error yes
后台在save时出错,前台停止写。
如果配置为no,表示你不在乎数据不一致性或者有其他的手段发现和控制。 Rdbcompression yes
对于存储到磁盘中的快照,可以设置是否进行压缩存储。如果是的话,redis会采用LZE算法进行压缩。如果你不想消耗CPU来进行压缩的话,可以设置为关闭此功能。 Rdbchecksum yes
在存储快照后,还可以让redis使用CRC64算法来进行数据校验,但是这样做会增大约10%的性能消耗,如果希望获取到最大的性能提升,可以关闭此功能。 Dbfilename
快照的名字,redis存储快照为这个名字,恢复时会按名字找这个名字恢复。 Dir
快照的保存目录
如何触发RDB快照
1.配置文件中默认的快照配置
2.命令save或者bgsave
Save:save时只管保存,其他不管,全部阻塞。
BGSAVE:Redis会在后台异步进行快照操作,快照同时还可以响应客户端请求,可以通过lastsave命令获取最后一次成功执行快照的时间。
3.执行flushall命令,也会产生dump.rdp文件,但里面是空的,无意义。
如何恢复
自动恢复:自动读取dump.rdb文件恢复
将备份文件移动到redis安装目录并启动服务即可。
CONFIG GET dir获取目录
注意:对dump.rdb文件进行备份
cp dump.rdb dumo_new.rdb
如何在动态中停止
动态停止所有RDB保存规则的方法:redis-cli config set save “”
优缺点
优势:
适合大规模的数据恢复。
对数据完整性和一致性要求不高。 劣势:
在一定间隔时间做一次备份,所以如果redis意外down掉的化,就会丢失最后一次快照后的所有修改。
Fork的时候,内存中的数据被克隆一份,大致2倍的膨胀性需要考虑。
小总结:
Redis持久化之AOF(Append Only File)
介绍
以日志的形式来记录每个写操作,将redis执行过的所有写指令记录下来(读操作不记录)
只许追加文件但不可以改写文件,redis启动之初会读取该文件重新构建数据,换言之,redis重启的话就根据日志文件的内容将写指令从前到后执行一次以完成数据的恢复工作
补充:
Aof保存的是appendonly.aof文件
参数
Appendonly yes
默认为no,yes就打开aof持久化
Appendfilename: Appendfsync:
Always:同步持久化,每次发生数据变更会被立即记录到磁盘 性能较差但数据完整性比较好。
Everysec:出厂默认推荐,异步操作,每秒记录 如果一秒内宕机,有数据丢失
No:不同步 No-appendfsync-on-rewrite:重写时是否可以运用Appendfsync,用默认no即可,保证数据安全性 Auto-aof-rewrite-min-size:设置重写的基准值 Auto-aof-rewrite-percentage:设置重写的基准值
启动/修复/恢复
正常恢复:
启动appendonly on:设置yes
将有数据的aof文件复制一份保存到对应目录(conflg get dir)
恢复:重启redis然后重新加载 异常恢复
启动appendonly on:设置yes
备份被写坏的AOF文件
修复:Redis-check-aof --fix进行修复
恢复:重启redis重新加载
Rewrite
介绍:
AOF采用文件追加方式,文件会越来雨打为避免出现此种情况,新增了重写机制,当AOF文件的大小超过所设定的阈值时,Redis就会启动AOF文件的内容压缩
只保留可以恢复数据的最小指令集,可以使用命令bgrewriteaof。 重写原理:
AOF文件持续增长而过大时,会fork出一条新进程来将文件重写(也是先写临时文件最后再rename),遍历新进程的内存中数据,每条记录有一条的set语句。重写aof文件的操作,,并没有读取aof文件,而是将整个内存中的数据库内容用命令的方式重写了一个新的aof文件,这点和快照有点类似。 触发机制:
Redis会记录上次重写时AOF大小,默认配置是当AOF文件大小是上次rewirte后大小的一倍且文件大于64M时触发。
优缺点
优势
每秒同步:appendfsync always:同步持久化 每次发送数据变更会被立即记录到磁盘 性能较差但数据完整性比较好。
每修改同步:appendfsync everysec 异步操作,每秒记录 如果一秒内宕机,有数据丢失。
不同步:appendfsync no 从不同步。 劣势
相同数据集的数据而言aof文件要远大于rdb文件,恢复速度慢于rdb。
Aod运行效率要慢于rdb,每秒同步策略效率较好,不同步效率和rdb相同。
小总结
总结
RDB持久化方式能够在指定的时间间隔能对你的数据进行快照存储。
AOF持久化方式记录每次对服务器写的操作,当服务器重启的时候会重新执行这些。Redis还能对AOF文件进行后台重写,使得AOF文件的体积不至于过大。
只做缓存:如果你只希望你的数据在服务器运行的时候存在,你也可以不使用任何持久化方式。
同时开启两种持久化方式
1.RDB和AOF能同时存在,在这种情况下,当redis重启的时候会优先载入AOF文件来恢复原始的数据,因为在通常情况下AOF文件保存的数据集要比RDB文件保存的数据集要完整
2.RDB的数据不实时,同时使用两者时服务器重启也只会找AOF文件。那要不要只使用AOF呢?作者建议不要,因为RDB更适合用于备份数据库(AOF在不断变化不好备份)
快照重启,而且不会有AOF可能潜在的BUG,留着作为一个万一的手段。
性能建议
Redis持久化rdb&aof的更多相关文章
- Redis持久化--RDB+AOF(转)
1.Redis两种持久化方式 RDB 执行机制:快照,直接将databases中的key-value的二进制形式存储在了rdb文件中 优点:性能较高(因为是快照,且执行频率比aof低,而且rdb文件中 ...
- 第十章 Redis持久化--RDB+AOF
注:本文主要参考自<Redis设计与实现> 1.Redis两种持久化方式 RDB 执行机制:快照,直接将databases中的key-value的二进制形式存储在了rdb文件中 优点:性能 ...
- [动图演示]Redis 持久化 RDB/AOF 详解与实践
Redis 是一个开源( BSD 许可)的,内存中的数据结构存储系统,它可以用作数据库.缓存和消息中间件.它支持的数据类型很丰富,如字符串.链表.集 合.以及散列等,并且还支持多种排序功能. 什么叫持 ...
- [动图演示]Redis 持久化 RDB/AOF 详解与实践【华为云技术分享】
Redis 是一个开源( BSD 许可)的,内存中的数据结构存储系统,它可以用作数据库.缓存和消息中间件.它支持的数据类型很丰富,如字符串.链表.集 合.以及散列等,并且还支持多种排序功能. 什么叫持 ...
- 春招必问的redis持久化(RDB AOF),你能答上来么?
春招面试模拟,如同雷同,纯属巧合!!! 面试的大体流程: 第一步:一般会有笔试题,也可能没有.有笔试题就要好好答了,因为会重视笔试结果,为了节约面试官时间,HR可能先会看,不合格直接让你走人了. 第二 ...
- redis++:Redis持久化 rdb & aof 工作原理及流程图 (三)
RDB的原理: 在Redis中RDB持久化的触发分为两种:自己手动触发与Redis定时触发. 针对RDB方式的持久化,手动触发可以使用: 1):save:会阻塞当前Redis服务器,直到持久化完成,线 ...
- redis持久化RDB与AOF
redis持久化 Redis是一种内存型数据库,一旦服务器进程退出,数据库的数据就会丢失,为了解决这个问题,Redis提供了两种持久化的方案,将内存中的数据保存到磁盘中,避免数据的丢失. RDB持久化 ...
- Linux 安装redis 基本配置 发布订阅,安全配置,持久化 rdb ,aof
redis redis相关配置1.yum 源码 rpm yum 快速,间接,高效,解决依赖关系,(自动安装到某个路径,不可控),通过yum安装的软件查询命令 rpm -ql nginx yum源 ...
- redis的持久化(RDB&AOF的区别)
RDB 是什么? 在指定的时间间隔内将内存中的数据集快照写入磁盘, 也就是行话讲的Snapshot快照,它恢复时是将快照文件直接读到内存里. Redis会单独创建(fork)一个子进程来进行持久化,会 ...
随机推荐
- Android使用init.rc触发脚本实现隐藏内置应用
[实现逻辑] 通过在property_service.c中设置标志位,在设置中实现接口改变标志位, 使用init.rc中声明的服务来侦听标志位的变化,显式启动声明的服务,执行对应的脚本,把应用后缀从a ...
- (55)Linux驱动开发之一驱动概述
驱动 ...
- C# 利用*.SQL文件自动建库建表等的类
/// <summary> /// 自动建库建表 /// </summary> public class OperationSqlFile { SqlConnection sq ...
- springboot 基于@Scheduled注解 实现定时任务
前言 使用SpringBoot创建定时任务非常简单,目前主要有以下三种创建方式: 一.基于注解(@Scheduled) 二.基于接口(SchedulingConfigurer) 前者相信大家都很熟悉, ...
- ACE官网
ACE的官网是http://www.dre.vanderbilt.edu/~schmidt/ACE.html 文档的官网是https://htmlpreview.github.io/?https:// ...
- Linux清空文本内容
测试文件:test.txt 第一种: $> test.txt 第二种: $echo "" > test.txt 第三种: $cat /dev/null > tes ...
- 十五、RF操作时间控件
由于日期控件经常用的是readonly属性,这个属性意思是此控件为可读,明白点就是只让你看,不让你动. 解决方法就是:用js去掉这个属性,就可写了,就能输入了 导入库:DateTime #方式一 op ...
- python - from … import …
from . import XXX 默认的就是在当前程序所在文件夹里__init__.py程序中导入XXX from .A import XXX 如果当前程序所在文件夹里没有 ...
- Linux_ServicesManagement_RHEL7
目录 目录 Network Manager RHEL7的服务管理systemctl指令 服务的启动停止重载重启 服务的分类 指令选项 Network Manager 注意:network servic ...
- 阶段3 1.Mybatis_12.Mybatis注解开发_4 mybatis注解开发CRUD的其他操作
delete 51已经被删除掉了. 查询一个 findUserByName模糊查询 带百分号的情况 value这个参数是固定的 返回值为int类型的