transactions

redis的事务并不能回滚,即使执行失败了,后面的命令一样会执行

exec命令触发前面被queue的命令原子执行

最后:transaction最终将被scripts替代,因为它们提供了原子性,原子性可以理解为redis单线程执行命令自带的原子性,并且更快,script命令仍然没有rollback功能

redis官方解释:redis只有在错误的program时才会出现,你应该修改你的bug,而不是rollback

pipeline

redis使用client-server模型,也叫Request/Response protocol

因此一个请求完成需要经历的步骤:

  • client发送请求给server,从socket读取reponse,通常是阻塞的
  • server执行命令并发送reponse给client

RTT(Round Trip Time):包从client发送到server,再从server返回到client的时间

这也意味着,如果RTT为250毫秒,则不管server的性能有多牛逼,client端感知道的ops为:4/s

恰逢你想一次执行多个命令,如果通过普通的串行调用,这个时间耗费就相当高了

此时,你就可以使用pipelining了(注意server端分片的情况,key不同请慎重),它能有效减少RTT

还有需要注意的是:server端将把多个命令的结果放到一个queue里面,这是会产生额外内存消耗的,如果有10k个操作使用pipeline执行,则server端就需要相应结果集对应的内存。

pipeline还减少了read() write()操作的性能损耗,如果请求被挨个发送到server,则相比pipeline,server和client调用read()和write()的次数增加了,这是一个系统方法调用,意味着从用户态到内核态的切换,上下文切换是一个速度上的较大的损害

和script对比,性能可能略低,原因是多个命令,每次执行完上一个命令后,需要将reply放置,才能执行下一个命令,script则没有这个问题。

pipeline也可以和script一起使用,如多次执行eval或evalSha命令

rdb

优点:

  • 一个压缩文件,对应了server某个时间点的数据
  • 容灾恢复,可以传到远程中心
  • 除了bgsave fork一个子进程外,其他的备份操作由子进程完成
  • 大数据量时,使用rdb重启redis,速度快于aof

    缺点
  • 不够实时,如果1小时备份一次,或10000次备份一次,则丢失的数据量可能比较大
  • 大数据量时,fork一个子进程也是相当耗时的,这段时间server将不能响应client的请求

解决办法 控制单个redis的大小,配合aof

过程

  • fork child process
  • child 生成临时dump.rdb
  • child用新的rdb文件去替换老rdb

aof

优点:

  • 可以配置隔多久写一次追加日志,默认为1s,这样丢失的数据就比较少了
  • 它是一个append only file,不怕断电,有机制可以修改写了一半的命令
  • 当aof文件变得很大时,redis会自动BGREWRITEAOF重写aof文件,通过后台重新生成一个当前数据集的文件,生成完成后替换现有的aof文件
  • 容易解析格式,甚至错误的执行了flushAll命令,只要文件没有重写,就可以删除flushAll命令,利用aof文件重启redis来恢复

缺点

  • 通常比rdb大
  • 在每个命令都fsync到文件的模式,性能很差
  • 之前遭遇过一些特殊的bug,仅在某个命令下出现,这一点上,它没有rdb那么健壮

rewrite过程

  • fork child process
  • child向临时文件写new AOF
  • parent把新的更改放在内存缓冲区中,此时老的aof追加过程依旧继续,保证数据安全
  • child rewrite结束后,parent获得信号,将内存缓冲区中的变化追加到child生成的aof文件的尾部
  • 原子的将aof文件的名字改成新的文件名,然后往新的文件append

该怎么使用备份

  • 如果允许数据丢失一段时间,可以直接使用rdb
  • 长久计划中,将统一rdb和aof
  • 用定时任务将rdb文件copy到其他物理机,删除很久以前的rdb

Redis (总结)的更多相关文章

  1. 使用redis构建可靠分布式锁

    关于分布式锁的概念,具体实现方式,直接参阅下面两个帖子,这里就不多介绍了. 分布式锁的多种实现方式 分布式锁总结 对于分布式锁的几种实现方式的优劣,这里再列举下 1. 数据库实现方式 优点:易理解 缺 ...

  2. Ignite性能测试以及对redis的对比

    测试方法 为了对Ignite做一个基本了解,做了一个性能测试,测试方法也比较简单主要是针对client模式,因为这种方法和使用redis的方式特别像.测试方法很简单主要是下面几点: 不作参数优化,默认 ...

  3. mac osx 安装redis扩展

    1 php -v查看php版本 2 brew search php|grep redis 搜索对应的redis   ps:如果没有brew 就根据http://brew.sh安装 3 brew ins ...

  4. Redis/HBase/Tair比较

    KV系统对比表 对比维度 Redis Redis Cluster Medis Hbase Tair 访问模式    支持Value大小 理论上不超过1GB(建议不超过1MB) 理论上可配置(默认配置1 ...

  5. Redis数据库

    Redis是k-v型数据库的典范,设计思想及数据结构实现都值得学习. 1.数据类型 value支持五种数据类型:1.字符串(strings)2.字符串列表(lists)3.字符串集合(sets)4.有 ...

  6. redis 学习笔记(2)

    redis-cluster 简介 redis-cluster是一个分布式.容错的redis实现,redis-cluster通过将各个单独的redis实例通过特定的协议连接到一起实现了分布式.集群化的目 ...

  7. redis 学习笔记(1)

    redis持久化 snapshot数据快照(rdb) 这是一种定时将redis内存中的数据写入磁盘文件的一种方案,这样保留这一时刻redis中的数据镜像,用于意外回滚.redis的snapshot的格 ...

  8. python+uwsgi导致redis无法长链接引起性能下降问题记录

    今天在部署python代码到预生产环境时,web站老是出现redis链接未初始化,无法连接到服务的提示,比对了一下开发环境与测试环境代码,完全一致,然后就是查看各种日志,排查了半天也没有查明是什么原因 ...

  9. nginx+iis+redis+Task.MainForm构建分布式架构 之 (redis存储分布式共享的session及共享session运作流程)

    本次要分享的是利用windows+nginx+iis+redis+Task.MainForm组建分布式架构,上一篇分享文章制作是在windows上使用的nginx,一般正式发布的时候是在linux来配 ...

  10. windows+nginx+iis+redis+Task.MainForm构建分布式架构 之 (nginx+iis构建服务集群)

    本次要分享的是利用windows+nginx+iis+redis+Task.MainForm组建分布式架构,由标题就能看出此内容不是一篇分享文章能说完的,所以我打算分几篇分享文章来讲解,一步一步实现分 ...

随机推荐

  1. Java源码赏析(四)Java常见注解

    元注解 @Target :标识注解的目标,默认为所有 ElementType.TYPE(用于类) ElementType.FIELD(用于域,包括enum) ElementType.METHOD(用于 ...

  2. Java源码赏析(一)Object 类

    写这个系列的原因,其实网上已经有无数源码分析的文章了,多一篇不多,少一篇不少,但为什么还要写这部分文章呢?于私,其一,上班族已经很久没有打过完整的一整段有意义的话,算是锻炼个人的书写.总结能力,其二, ...

  3. Gitlab集成Sonarqube自动检测代码并发送报告给提交者

    使用gitlab-ci.sonarqube.sonar-scanner 实现如下功能 1.一旦提交代码就进行代码质量检测 2. 发送检测报告邮件给提交者 先来看下最终结果,邮件中有检测报告,具体bug ...

  4. java安全编码指南之:异常处理

    目录 简介 异常简介 不要忽略checked exceptions 不要在异常中暴露敏感信息 在处理捕获的异常时,需要恢复对象的初始状态 不要手动完成finally block 不要捕获NullPoi ...

  5. Kafka控制器事件处理全流程分析

    前言 大家好,我是 yes. 这是Kafka源码分析第四篇文章,今天来说说 Kafka控制器,即 Kafka Controller. 源码类的文章在手机上看其实效果很差,这篇文章我分为两部分,第一部分 ...

  6. Electron安装过程深入解析(读完此文解决Electron应用无法启动,无法打包的问题)

    1. 安装Electron依赖包 开发者往往通过npm install(或 yarn add)指令完成为Node.js工程安装依赖包的工作, 安装Electron也不例外,下面是npm和yarn的安装 ...

  7. 035 01 Android 零基础入门 01 Java基础语法 04 Java流程控制之选择结构 02 多重if结构

    035 01 Android 零基础入门 01 Java基础语法 04 Java流程控制之选择结构 02 多重if结构 本文知识点:Java中的多重if结构 选择结构回顾 if选择结构 注意: 1.条 ...

  8. Java知识系统回顾整理01基础03变量01变量定义

    定义: 变量:用来命名一个数据的标识符 一.什么是变量? 用具体实例定义变量 变量的定义是: 用来命名一个数据的标识符 1949 这是一个数字,代表某年 如果要命名这个数字,在java里就会写成: i ...

  9. AE2018简单的编辑

    来源:https://jingyan.baidu.com/article/1876c8525cf522890a137651.html Ae 2018 怎样锁定图层,阻止对图层进行编辑? 听语音 原创 ...

  10. HTML & CSS & JavaScript 从一个表格到一个灰阶颜色表 04

    工具1:HBuilder X 1.9.9.20190522 工具2:火狐浏览器 67.0.4 (64 位) 目前,我们已经将一些行和列插入到表格中,并设置单元格的背景颜色,显示 RGB 值等. 例 7 ...