transactions

redis的事务并不能回滚,即使执行失败了,后面的命令一样会执行

exec命令触发前面被queue的命令原子执行

最后:transaction最终将被scripts替代,因为它们提供了原子性,原子性可以理解为redis单线程执行命令自带的原子性,并且更快,script命令仍然没有rollback功能

redis官方解释:redis只有在错误的program时才会出现,你应该修改你的bug,而不是rollback

pipeline

redis使用client-server模型,也叫Request/Response protocol

因此一个请求完成需要经历的步骤:

  • client发送请求给server,从socket读取reponse,通常是阻塞的
  • server执行命令并发送reponse给client

RTT(Round Trip Time):包从client发送到server,再从server返回到client的时间

这也意味着,如果RTT为250毫秒,则不管server的性能有多牛逼,client端感知道的ops为:4/s

恰逢你想一次执行多个命令,如果通过普通的串行调用,这个时间耗费就相当高了

此时,你就可以使用pipelining了(注意server端分片的情况,key不同请慎重),它能有效减少RTT

还有需要注意的是:server端将把多个命令的结果放到一个queue里面,这是会产生额外内存消耗的,如果有10k个操作使用pipeline执行,则server端就需要相应结果集对应的内存。

pipeline还减少了read() write()操作的性能损耗,如果请求被挨个发送到server,则相比pipeline,server和client调用read()和write()的次数增加了,这是一个系统方法调用,意味着从用户态到内核态的切换,上下文切换是一个速度上的较大的损害

和script对比,性能可能略低,原因是多个命令,每次执行完上一个命令后,需要将reply放置,才能执行下一个命令,script则没有这个问题。

pipeline也可以和script一起使用,如多次执行eval或evalSha命令

rdb

优点:

  • 一个压缩文件,对应了server某个时间点的数据
  • 容灾恢复,可以传到远程中心
  • 除了bgsave fork一个子进程外,其他的备份操作由子进程完成
  • 大数据量时,使用rdb重启redis,速度快于aof

    缺点
  • 不够实时,如果1小时备份一次,或10000次备份一次,则丢失的数据量可能比较大
  • 大数据量时,fork一个子进程也是相当耗时的,这段时间server将不能响应client的请求

解决办法 控制单个redis的大小,配合aof

过程

  • fork child process
  • child 生成临时dump.rdb
  • child用新的rdb文件去替换老rdb

aof

优点:

  • 可以配置隔多久写一次追加日志,默认为1s,这样丢失的数据就比较少了
  • 它是一个append only file,不怕断电,有机制可以修改写了一半的命令
  • 当aof文件变得很大时,redis会自动BGREWRITEAOF重写aof文件,通过后台重新生成一个当前数据集的文件,生成完成后替换现有的aof文件
  • 容易解析格式,甚至错误的执行了flushAll命令,只要文件没有重写,就可以删除flushAll命令,利用aof文件重启redis来恢复

缺点

  • 通常比rdb大
  • 在每个命令都fsync到文件的模式,性能很差
  • 之前遭遇过一些特殊的bug,仅在某个命令下出现,这一点上,它没有rdb那么健壮

rewrite过程

  • fork child process
  • child向临时文件写new AOF
  • parent把新的更改放在内存缓冲区中,此时老的aof追加过程依旧继续,保证数据安全
  • child rewrite结束后,parent获得信号,将内存缓冲区中的变化追加到child生成的aof文件的尾部
  • 原子的将aof文件的名字改成新的文件名,然后往新的文件append

该怎么使用备份

  • 如果允许数据丢失一段时间,可以直接使用rdb
  • 长久计划中,将统一rdb和aof
  • 用定时任务将rdb文件copy到其他物理机,删除很久以前的rdb

Redis (总结)的更多相关文章

  1. 使用redis构建可靠分布式锁

    关于分布式锁的概念,具体实现方式,直接参阅下面两个帖子,这里就不多介绍了. 分布式锁的多种实现方式 分布式锁总结 对于分布式锁的几种实现方式的优劣,这里再列举下 1. 数据库实现方式 优点:易理解 缺 ...

  2. Ignite性能测试以及对redis的对比

    测试方法 为了对Ignite做一个基本了解,做了一个性能测试,测试方法也比较简单主要是针对client模式,因为这种方法和使用redis的方式特别像.测试方法很简单主要是下面几点: 不作参数优化,默认 ...

  3. mac osx 安装redis扩展

    1 php -v查看php版本 2 brew search php|grep redis 搜索对应的redis   ps:如果没有brew 就根据http://brew.sh安装 3 brew ins ...

  4. Redis/HBase/Tair比较

    KV系统对比表 对比维度 Redis Redis Cluster Medis Hbase Tair 访问模式    支持Value大小 理论上不超过1GB(建议不超过1MB) 理论上可配置(默认配置1 ...

  5. Redis数据库

    Redis是k-v型数据库的典范,设计思想及数据结构实现都值得学习. 1.数据类型 value支持五种数据类型:1.字符串(strings)2.字符串列表(lists)3.字符串集合(sets)4.有 ...

  6. redis 学习笔记(2)

    redis-cluster 简介 redis-cluster是一个分布式.容错的redis实现,redis-cluster通过将各个单独的redis实例通过特定的协议连接到一起实现了分布式.集群化的目 ...

  7. redis 学习笔记(1)

    redis持久化 snapshot数据快照(rdb) 这是一种定时将redis内存中的数据写入磁盘文件的一种方案,这样保留这一时刻redis中的数据镜像,用于意外回滚.redis的snapshot的格 ...

  8. python+uwsgi导致redis无法长链接引起性能下降问题记录

    今天在部署python代码到预生产环境时,web站老是出现redis链接未初始化,无法连接到服务的提示,比对了一下开发环境与测试环境代码,完全一致,然后就是查看各种日志,排查了半天也没有查明是什么原因 ...

  9. nginx+iis+redis+Task.MainForm构建分布式架构 之 (redis存储分布式共享的session及共享session运作流程)

    本次要分享的是利用windows+nginx+iis+redis+Task.MainForm组建分布式架构,上一篇分享文章制作是在windows上使用的nginx,一般正式发布的时候是在linux来配 ...

  10. windows+nginx+iis+redis+Task.MainForm构建分布式架构 之 (nginx+iis构建服务集群)

    本次要分享的是利用windows+nginx+iis+redis+Task.MainForm组建分布式架构,由标题就能看出此内容不是一篇分享文章能说完的,所以我打算分几篇分享文章来讲解,一步一步实现分 ...

随机推荐

  1. ch4inrulz: 1.0.1靶机渗透

    ch4inrulz: 1.0.1靶机渗透 扫描主机端口,还行啦四个开放的端口,8011和80端口都运行着web服务. 80端口下的robots.txt告诉我们什么都没有 在8011端口的apache服 ...

  2. Laver 文件版本遍历器

    系统简介 最近有个需求,需要罗列出各个目录中文件的信息,检索各类文件的最新版本.网上看了很多方式,但发现没有合适的.于是利用空余时间开始编写了一套文件遍历系统,如此便有了Laver(紫菜).Laver ...

  3. 一键生成数据库文档,堪称数据库界的Swagger,有点厉害

    最近部门订单业务调整,收拢其他业务线的下单入口,做个统一大订单平台.需要梳理各业务线的数据表,但每个业务线库都有近百张和订单相关的表,挨个表一个一个字段的弄脑瓜子嗡嗡的. 为了不重复 CV 操作,抱着 ...

  4. 原创-公司项目部署交付环境预检查shell脚本

    大型项目环境预检查脚本,根据自己实际情况修改脚本中变量,给大家一个思路~ #!/usr/bin/env bash root=$( cd $(dirname $0) pwd ) source " ...

  5. react-router 路由切换动画

    路由切换动画 因为项目的需求,需要在路由切换的时候,加入一些比较 zb 的视觉效果,所以研究了一下.把这些学习的过程记录下来,以便以后回顾.同时也希望这些内容能够帮助一些跟我一样的菜鸟,让他们少走些坑 ...

  6. Tomcat 8.5中获取客户端真实IP及协议

    获取客户端真实IP ServletRequest接口提供了getRemoteAddr方法用于获取客户端IP,但是当客户端通过代理服务器访问后端服务器的时候,服务器调用getRemoteAddr方法会返 ...

  7. 050 01 Android 零基础入门 01 Java基础语法 05 Java流程控制之循环结构 12 continue语句

    050 01 Android 零基础入门 01 Java基础语法 05 Java流程控制之循环结构 12 continue语句 本文知识点:continue语句 continue语句 continue ...

  8. K8S环境的Jenkin性能问题处理续篇(任务Pod设置)

    欢迎访问我的GitHub 这里分类和汇总了欣宸的全部原创(含配套源码):https://github.com/zq2599/blog_demos K8S环境的Jenkin性能问题处理 本文是<K ...

  9. 【题解】[JSOI2007]字符加密

    Link \(\text{Solution:}\) 后缀数组第一题祭-- 观察一下,这个是让求一个环形的原字符串的后缀,我们可以考虑一下断环为链. 对于\(aba\)我们扩展成\(abaaba,\)则 ...

  10. Linux 杀毒软件ClamAV安装部署

    环境说明 系统安全需求,批量安装免费杀毒软件: 操作系统统一为CentOS 7 x64,在此选择免费开源杀毒软件ClamAV: 两种安装方式 1.yum 安装: 2.源码包编译安装: 安装参考网址: ...