多机数据库的实现

一、复制

  slaveof  主服务器ip地址。形成主从关系。

  1、同步  

     从向主服务器发送sync命令。

     主服务器收到sync命令执行bgsave,生成rdb文件,缓冲区同时记录从现在开始执行的所有命令。

     主服务器执行完毕bgsave命令,会将rdb文件发送给从服务器,从服务器接收并载入这个rdb文件,同步给主服务器状态

     主服务器发送缓冲区的命令给从服务器,从服务器执行当前命令,保持数据最终一致。 

  2、命令传播

    第一步同步,类似于初始化。

    后续还需要,主从服务器实时同步。

    主服务器将 写命令同步发送给从服务器执行。保持主从一致。

  3、断点续传

    psync 分为完全同步,部分同步

    (1)复制偏移量

      • 主服务器每次想从服务器创博N个字节数据时,同时将自己的复制偏移量加N.
      • 从服务器接收N个字节数据,同时更新自己的偏移量加N.       

    (2)复制积压缓冲区

      • 主服务器将缓冲区命令发送给从服务器,同时更新复制积压缓冲区,标记命令字节的偏移量。
      • 主服务器会根据这个积压偏移量,选择同步命令的方式。              

    (3)同步服务器ID

        根据ID和存储的ID对比选择不同的同步方式。

二、Sentinel

  哨兵策略是redis高可用的解决方案(一个或者多个哨兵实例组成的哨兵系统),可以监视多个主服务器。

   (1)故障转移

      • 监测到主服务器下线,选举主服务器下的一个从服务器升级为主服务器.
      • 通知其他从服务器,更新主服务器地址.
      • 监视下线服务器,并将下线的服务器升级为从服务器.

三、集群

  集群实现了分布式数据库解决方案

  1、节点:cluster meet <ip><port>

    node节点发送上述命令到指定的ip:port节点,它们进行握手,成功后,将指定的ip:port节点添加到node的集群中。

  2、启动节点

    一个节点就是一个运行在集群模式下的redis服务器,根据cluster-enable来判断是否开启集群模式。

  3、配置槽位:通过分片方式来保存数据库中的键值对,集群的整个数据库被分为 0~16384个槽位

    cluster addslots <一个或者多个槽位>

   节点之间互相同步自己的槽位

    数据库要处理的键属于哪个槽 ->指派当前节点->没有的话,moved,下一个->直到找到为止

       键槽位算法:cluster keyslot <key>

4、重新分片

    moved  槽的负责权有一个节点转移到另一个节点

  ask   槽迁移过程中使用的临时措施

  5、复制故障转移

    集群分为主节点和从节点,主节点用于处理槽,子节点用于复制主节点

    在主节点下线时,代替主节点继续处理命令请求。

    cluster replicate <node-id>  node-id 为主节点,接收此命令的节点为子节点

Redis 设计与实现 (五)--多机数据库的实现的更多相关文章

  1. Redis设计与实现2.1:数据库和事件

    数据库和事件 这是<Redis设计与实现>系列的文章,系列导航:Redis设计与实现笔记 数据库 数据库的结构定义在 redis.h/redisServer 这个结构体中,这个结构体有许多 ...

  2. Redis(三):多机数据库的实现

    复制 在Redis中,用户可以通过SLAVEOF命令或是slaveof选项设置服务器的主从关系,从(SLAVE)服务器会复制主(Master)服务器. 旧版复制功能实现(2.8以前) 旧版复制功能主要 ...

  3. Redis学习笔记三:多机数据库的实现

    1.复制 执行slaveof命令或者设置slaveof选项,让一个服务器去复制另外一个服务器. 旧版复制功能的实现(Redis 2.8 之前的版本) 复制功能分为同步和命令传播两个操作. 同步(syn ...

  4. Redis 设计与实现 (二)--数据库

    typedef struct redisDb { dict *dict; /* The keyspace for this DB */ dict *expires; /* Timeout of key ...

  5. Redis设计与实现(一~五整合版)【搬运】

    Redis设计与实现(一~五整合版) by @飘过的小牛 一 前言 项目中用到了redis,但用到的都是最最基本的功能,比如简单的slave机制,数据结构只使用了字符串.但是一直听说redis是一个很 ...

  6. Redis多机数据库

    复制 PSYNC命令具有完整重同步(full resynchronization)和部分重同步(partial resynchronization)两种模式: ·其中完整重同步用于处理初次复制情况:完 ...

  7. 探索Redis设计与实现9:数据库redisDb与键过期删除策略

    本文转自互联网 本系列文章将整理到我在GitHub上的<Java面试指南>仓库,更多精彩内容请到我的仓库里查看 https://github.com/h2pl/Java-Tutorial ...

  8. Redis | 第4章 Redis中的数据库《Redis设计与实现》

    目录 前言 1. Redis中的数据库 2. 数据库的键空间 3. 键的生成时间与过期时间 4. Redis中的过期键删除策略 5. AOF.RDB和复制功能对过期键的处理 5.1 生成 RDB 文件 ...

  9. 《Redis设计与实现》- 数据库

    1. 服务器中数据库结构 Redis 服务器将所有数据库都保存在服务器状态 redisServer 结构的 db 数组中,由 redisDb 结构代表一个数据库 struct redisServer ...

随机推荐

  1. C# 通过 Quartz .NET 实现Timer Job并将其注册成为Windows Service

    之前的一篇文章讲述了如何通过 Quartz .NET 实现 Timer Job (http://www.cnblogs.com/mingmingruyuedlut/p/8037263.html) 在此 ...

  2. cocos creator中粒子效果的使用

    就如同上图的星星特效一样,在触碰时产生特效,但是并不销毁节点,因为要使用很多次,因此使用节点池NodePool保存起来的. 以下是使用粒子效果使要使用到的一些基本控制函数: 我的使用:

  3. 用Verilog语言实现一个简单的MII模块

    项目中要求简单地测试一下基于FPGA的模拟平台的RJ45网口,也就是需要实现一个MII或者RMII模块.看了一下官方网口PHY芯片的官方文档,还是感觉上手有点障碍,想在网络上找些参考代码看看,最后只在 ...

  4. Node.js 操作 OSX 系统麦克风、扬声器音量

    最近几年 Electron 很火,公司也正好有个项目想做跨平台客户端,大家研究了一下就选择了 Electron,第一次做 js 的项目遇到了不少坑,不过也都一点点解决了. 因为项目中需要对用户录音,H ...

  5. vs编译OpenGL项目,出现无法打开 源 文件 "gl\glaux.h的解决办法

    问题如图: 原因: 缺少编译OpenGL的头文件和库: 解决办法: 1.下载OpenGL的头文件和库: 下载地址:https://download.csdn.net/download/ssagnn23 ...

  6. 爬虫之scrapy-redis

    redis分布式部署 scrapy框架是否可以自己实现分布式? 不可以原因有两点 其一:因为多台机器上部署的scrapy会各自拥有各自的调度器,这样就使得多台机器无法分配start_urls列表中的u ...

  7. Dockerfile中COPY命令的简单性

    dockerfile中的COPY命令是不会拷贝目录结构的,它只会单纯把包含的所有文件拷贝到另一个目录中去. 相关链接:https://www.cnblogs.com/sparkdev/p/957324 ...

  8. 如何在HTML表格里定位到一行数据

    业务需求: 在这样一个表格里,通过点击"确认"按钮,收集该行数据,向后台发送请求 解决办法 以该button为锚获取父节点,再由父节点获取各个元素的值 获取子元素又有很多办法,包括 ...

  9. MyBatis(八)联合查询 级联属性封装结果集

    (1)接口中编写方法 public Emp getEmpandDept(); (2)编写Mapper文件 <resultMap type="com.eu.bean.Emp" ...

  10. hive求TopN语句

    ROW_NUMBER,RANK(),DENSE_RANK() 先了解这三个之间的区别: Rank():1,2,2,4,5(一般用这个较多,不会影响总排名) Dense_rank():1,2,2,3,4 ...