复制简介 P61

关系型数据库通常会使用一个主服务器 (master) 向多个从服务器 (slave) 发送更新,并使用从服务器来处理所有读请求。 Redis 也采用了同样的方法实现自己的复制特性,并将其用作扩展性能的一种手段。 P69

在接收到主服务器发送的数据初始副本 (initial copy of the data) 之后,客户端每次向主服务器进行写入时,从服务器都会实时地得到更新。 P69

复制 P62

对于一个正在运行的 Redis 服务器,用户可以通过发送 SLAVEOF NO ONE 命令来让服务器终止复制操作,不再接受主服务器的数据更新;也可以通过发送 SLAVEOF host port 命令来让服务器开始复制一个新的主服务器。 P69

配置选项
# 设置本机为指定服务器的从服务器
#
# slaveof <master-host> <master-port> # 当主服务器设置了密码保护时(用 requirepass 指定的密码)
# 从服务器服务连接主服务器需要设置相应的密码
#
# masterauth <master-password> # 当从服务器 与主服务器失去连接 或者 正在进行复制 时
# yes: 从服务器会继续响应客户端的请求(默认 yes)
# no: 除了 INFO 和 SLAVOF 命令之外的任何请求都会
# 返回一个错误 "SYNC with master in progress"
#
slave-serve-stale-data yes # 从服务器每隔一定时间会向主服务器发送 ping
# 默认 10 秒
#
# repl-ping-slave-period 10 # ping 回复 或 主服务器批量数据传输 超时时长
# 默认 60 秒
# 确保 repl-timeout 大于 repl-ping-slave-period
#
# repl-timeout 60
从服务器连接主服务器时的步骤 P70
步骤 主服务器操作 从服务器操作
1 (等待命令进入) 连接(或者重连)主服务器,发送 SYNC 命令
2 开始执行 BGSAVE ,并使用缓冲区记录 BGSAVE 之后执行所有写命令 根据配置选项 (slave-serve-stale-data) 来决定是继续使用现有的数据(如果有的话)来处理客户端的命令请求,还是向客户端返回错误
3 BGSAVE 执行完毕,向从服务器发送快照文件,并在发送期间继续使用缓冲区记录被执行的写命令 丢弃所有旧数据(如果有的话),开始载入主服务器发来的快照文件
4 快照文件发送完毕,开始向从服务器发送存储在缓冲区里面的写命令 完成对快照文件的解释操作,像往常一样开始接受命令请求
5 缓冲区存储的写命令发送完毕;从现在开始,每执行一个写命令,就向从服务器发送相同的写命令 执行主服务器发来的所有存储在缓冲区里面的写命令;并从现在开始,接受并执行主服务器传来的每个写命令

在实际中最好让主服务器只使用 50% ~ 65% 的内存,留下 30% ~ 45% 的内存用于执行 BGSAVE 命令和创建记录写命令的缓冲区。 P70

从服务器在进行同步时,会清空自己的所有数据。 P70

Redis 不支持主主复制 (master-master replication) P71

当一个从服务器连接一个已有的主服务器时,有时可以重用已有的快照文件: P71

  • 步骤 3 尚未执行:所有从服务器都会接收到相同的快照文件和相同的缓冲区写命令
  • 步骤 3 正在执行或已经执行完毕:当主服务器与比较早进行连接的从服务器执行完复制所需的 5 个步骤之后,主服务器会与新连接的从服务器执行一次新的步骤 1 至步骤 5
主从链 P71

Redis 的主服务器和从服务器没有什么特别不同的地方,所以从服务器也可以拥有自己的从服务器,并由此形成主从链 (master/slave chaining) 。 P71

不过,如果从服务器 X 拥有从服务器 Y ,那么当从服务器 X 在执行步骤 4 时,它将断开与从服务器 Y 的连接,导致从服务器 Y 需要重新连接并重新同步。 P71

当读请求比写请求重要,且读请求的数量远远超过一台 Redis 服务器可以处理的范围时,就需要添加新的从服务器来处理读请求。随着负载不断上升,主服务器可能会无法快速地更新所有从服务器,或者因为重新连接和重新同步从服务器而导致系统超载。为了缓解这个问题,可以创建一个由 Redis 主从节点 (master/slave node) 组成的中间层来分担主服务器的复制工作。 P71

通过同时使用复制和 AOF 持久化,用户可以增强 Redis 对于系统崩溃的抵抗能力。 P73

处理系统故障

验证快照文件和 AOF 文件

redis-check-aof [--fix] <file.aof> 可以检查 AOF 文件,并且可以进行修复:将第一个出错命令(大部分情况下在文件末尾)及之后的所有命令删除。 P74

redis-check-dump <dump.rdb> 可以检查快照文件。快照文件目前无法进行修复,因为快照文件本身进行了压缩。 P74

事务

Redis 事务的作用: P76

  • 防止数据出错
  • 在某些情况下提升性能。利用事务一次性发送多个命令,然后等待所有回复出现实现流水线 (pipeline)。通过减少客户端与 Redis 服务器之间的网络通信次数来提升 Redis 在执行多个命令时的性能。

关系数据库事务与 Redis 事务的区别: P76

  • 关系数据库:先向数据库服务器发送 BEGIN ,然后执行各个相互一致 (consistent) 的读写操作,最后可以选择发送 COMMIT 来确认之前的修改,或者发送 ROLLBACK 来放弃之前的修改。
  • Redis :以特殊命令 MULTI 开始,然后传入多个命令,最后以 EXEC 结束,并依次执行传入的命令。Redis 事务不能以一致的形式读取数据,使得某一类型的问题难以解决,且无法实现二阶段提交。

通过使用 WATCH, MULTI/EXEC, UNWATCH/DISCARD 等命令,程序可以在执行某些重要操作时,通过确保自己正在使用的数据没有发生变化来避免出错。 P78

  • WATCH: 使用 WATCh 对键进行监视之后,直到用户执行 EXEC 的这段时间里面,如果有其他客户端抢先对任何被监视的键进行了替换、更新或删除等操作,那么当用户尝试执行 EXEC 时,事务将失败并返回一个错误。(之后用户可选择重试事务或者放弃事务)
  • UNWATCH: 可以在 WATCH 执行之后、 MULTI 执行之前对连接进行重置 (reset)
  • DISCARD: 可以在 MULTI 执行之后、 EXEC 执行之前对连接进行重置,即取消 WATCH 并清空所有已入队命令

为什么 Redis 没有实现典型的加锁功能? P82

  • 加锁是悲观锁,持有锁的客户端运行越慢,等待解锁的客户端被阻塞的时间越长
  • WATCH 是乐观锁,客户端不必等待取得锁,只需要在事务执行失败时重试即可,乐观锁可以提高并发能力

非事务型流水线 (non-transactional pipeline)

对于无需事务的大量操作可以使用非事务型流水线,可以避免事务消耗资源。

Python 中通过修改入参即可将事务改为非事务型流水线,而 Go 中根据具体框架的不同,可能需要手动封装流水线的处理逻辑。

性能优化

要对 Redis 的性能进行优化,首先需要弄清楚各种类型的 Redis 命令能跑多块,而这一点可以通过调用 Redis 附带的性能测试程序 redis-benchmark 得知。 P85

切记不要将输出结果看作是应用程序的实际性能,因为 redis-benchmark 不会处理执行命令所获得的命令回复,所以它节约了大量用于对命令回复进行语法分析的时间。 P86

可能影响性能的原因 P86
  • 未使用流水线:可视情况适当使用流水线
  • 对于每个命令或每组命令都创建了新的连接:使用连接池重用 Redis 连接
  • Redis 的数据结构或命令不合理(value 非常大,使用 keys, hgetall 等):优化数据结构和命令

本文首发于公众号:满赋诸机(点击查看原文) 开源在 GitHub :reading-notes/redis-in-action

Redis 实战 —— 07. 复制、处理故障、事务及性能优化的更多相关文章

  1. EntityFramework之异步、事务及性能优化(九)

    前言 本文开始前我将循序渐进先了解下实现EF中的异步,并将重点主要是放在EF中的事务以及性能优化上,希望通过此文能够帮助到你. 异步 既然是异步我们就得知道我们知道在什么情况下需要使用异步编程,当等待 ...

  2. iOS回顾笔记(07) -- UITableView的使用和性能优化

    iOS回顾笔记(07) -- UITableView的使用和性能优化 如果问iOS中最重要的最常用的UI控件是什么,我觉得UITableView当之无愧!似乎所有常规APP都使用到了UITableVi ...

  3. redis集群复制和故障转移

    #### 一.集群的问题- 1.当某个主节点宕机后,对应的槽位没有节点承担,整个集群处于失败状态,不可用,怎么办- 2.如何判断某个主节点是否真正的岩机?- 3.如果从某个主节点的所有从节点中选举出一 ...

  4. Redis 实战 —— 12. 降低内存占用

    简介 降低 Redis 的内存占用有助于减少创建快照和加载快照所需的时间.提升载入 AOF 文件和重写 AOF 文件时的效率.缩短从服务器进行同步所需的时间(快照. AOF 文件重写在 持久化选项 中 ...

  5. Redis 实战 —— 13. 扩展 Redis

    简介 当数据量增大或者读写请求增多后,一台 Redis 服务器可能没办法再存储所有数据或者处理所有读写请求,那么就需要对 Redis 进行扩展,保证 Redis 在能存储所有数据对情况下,同时能正常处 ...

  6. .Net Redis实战——事务和数据持久化

    Redis事务 Redis事务可以让一个客户端在不被其他客户端打断的情况下执行多个命令,和关系数据库那种可以在执行的过程中进行回滚(rollback)的事务不同,在Redis里面,被MULTI命令和E ...

  7. (转)国内外三个不同领域巨头分享的Redis实战经验及使用场景

    随着应用对高性能需求的增加,NoSQL逐渐在各大名企的系统架构中生根发芽.这里我们将为大家分享社交巨头新浪微博.传媒巨头Viacom及图片分享领域佼佼者Pinterest带来的Redis实践,首先我们 ...

  8. Redis实战经验及使用场景

    随着应用对高性能需求的增加,NoSQL逐渐在各大名企的系统架构中生根发芽.这里我们将为大家分享社交巨头新浪微博.传媒巨头Viacom及图片分享领域佼佼者Pinterest带来的Redis实践,首先我们 ...

  9. 【*】Redis实战场景中相关问题

    一.Redis简介 redis主要解决的问题 分布式缓存是分布式系统中的重要组件,主要解决高并发.大数据场景下,热点数据访问的性能问题,提供高性能的数据快速访问. 使用缓存常见场景 项目中部分数据访问 ...

随机推荐

  1. 仙剑4CPK加密解密算法(转)

    // RSTEncDec.h: interface for the CRSTEncDec class. // ///////////////////////////////////////////// ...

  2. webform中ajax.ajaxMethod使用方法

    前言 dll文件 如果还没有ajax.dll文件,就先下载一个来 引用 将ajax.dll添加到项目引用中:在VS的解决方案资源管理器中右键点击项目名称--"添加项目引用"--浏览 ...

  3. Windows系统/office安装与激活

    一.Windows安装与激活 1.Windows7/8/10安装 提示:       重装系统时C盘会被格式化,故在重装系统前请先手动将重要资料转移到其他地方: 制作一个大白菜U盘winpe启动盘 查 ...

  4. Loki 初体验

    Loki 是什么 Loki 是 Grafana Lab开发的一套日志系统,使用Go语言实现.根据官方的介绍, Loki,高可用性,多租户的日志聚合系统,受到Prometheus的启发.它的设计非常经济 ...

  5. JIRA 知多少:聊一聊 Android Studio 、工作流相关设置

    Android Studio 相关 配置 JIRA 服务器 如果细心的话会发现有一个选项卡:Commit Message.这一段代码是不是有点熟悉呢?你没有猜错,这段代码就是 commit 模板,当你 ...

  6. day114:MoFang:基于支付宝沙箱测试环境完成创建充值订单接口&服务端处理支付结果的同步通知和异步通知

    目录 1.基于支付宝提供的沙箱测试环境开发支付接口 1.后端提供创建充值订单接口 2.前端调用AlipayPlus发起支付 3.注意:自定义APPLoader完成接下来的开发 4.下载支付宝沙箱钱包A ...

  7. C# 打开Excel文件

    方法一:(调用Excel的COM组件)       在项目中打开Add Reference对话框,选择COM栏,之后在COM列表中找到"Microsoft Excel 11.0 Object ...

  8. JDBC数据连接之增删改查MVC

    每天叫醒自己的不是闹钟,而是梦想 conn层 package conn; import java.sql.Connection; import java.sql.DriverManager; impo ...

  9. Hi,这里是我的2020年,请查收!

    Part 1. 回顾 还记得新年第一天,我在刚租的房子给自己做了一顿咖喱饭 (不好意思放照片...),然后回顾并展望了一下自己的 2020. 转眼间,2020 就过去了. 总的来说,今年小目标 (比如 ...

  10. ShareSdk自己写的Demo

    安卓原生Demo 根据mob发布的ShareSdk编写的demo,只添加了自己使用到的一些平台. 签名和第三方平台的账号都是用的shareSdk官方Demo的. 因为只是为了展示shareSdk用法, ...