1.MongoDB 主从复制 MongoDB复制是将数据同步在多个服务器的过程. 复制提供了数据的冗余备份,并在多个服务器上存储数据副本,提高了数据的可用性, 并可以保证数据的安全性. 复制还允许您从硬件故障和服务中断中恢复数据. 官方文档 https://docs.mongodb.com/manual/replication/ 1.1 什么是复制? 保障数据的安全性 数据高可用性 (24*7) 灾难恢复 无需停机维护(如备份,重建索引,压缩) 分布式读取数据 1.2 MongoDB复制原理 m…

前文我们搭建MongoDB三成员副本集,了解集群基本特性,今天我们围绕下图聊一聊背后的细节. 默认搭建的replica set均在主节点读写,辅助节点冗余部署,形成高可用和备份, 具备自动故障转移的能力. 集群心跳保活 集群每个节点以周期性向其他成员发出心跳命令 replSetHeartbeat来获取状态, 根据应答消息来更新节点的状态,根据最终状态确定是否重选主节点. 默认心跳周期 heartbeatIntervalMillis= 2000ms: 认定Primary节点失联的阈值 electi…

前文我们搭建MongoDB三成员副本集,了解集群基本特性,今天我们围绕下图聊一聊背后的细节. 默认搭建的replica set均在主节点读写,辅助节点冗余部署,形成高可用和备份, 具备自动故障转移的能力. 集群心跳保活 集群每个节点以周期性向其他成员发出心跳命令 replSetHeartbeat来获取状态, 根据应答消息来更新节点的状态,根据最终状态确定是否重选主节点. 默认心跳周期 heartbeatIntervalMillis= 2000ms: 认定Primary节点失联的阈值 electi…

前言 数据库技术是信息系统的一个核心技术,发展很快,各种功能类型数据库层出不穷,之前工作中使用过关系型数据库(mysql.oracle等).面相对象数据库(db4o).key-value存储(Memcached .Redis).嵌入式关系数据库(SQLite).最近学习和研究了一下MongoDB,整理了一下分享,本文主要介绍 如何搭建MongoDb复制集群,实现自动故障转移,读写分离. Replica Set复制集简介 MongoDB复制集(Replica Set)是MongoDB的核心高可用特…

在Redis中,与Sentinel(哨兵)实现的高可用相比,集群(cluster)更多的是强调数据的分片或者是节点的伸缩性,如果在集群的主节点上加入对应的从节点,集群还可以自动故障转移,因此相比Sentinel(哨兵)还是有不少优势的.以下简单测试Redis的集群(单机多实例的模式),来体验一下集群的自动故障转移功能,同时结合Python,来观察自动故障转移过程中应用程序端的表现. redis集群实例安装 启动6个redis集群实例,集群模式,除了正常的配置项目之外,需要在每个主节点中增加集群配…

非域环境下搭建自动故障转移镜像无法将 ALTER DATABASE 命令发送到远程服务器实例的解决办法 环境:非域环境 因为是自动故障转移,需要加入见证,事务安全模式是,强安全FULL模式 做到最后一步的时候,可能会遇到 执行( ALTER DATABASE [mirrortest] SET WITNESS = 'TCP://xxxx:5022' -)报错的解决方法 消息 ,级别 ,状态 ,第 行 无法将 ALTER DATABASE 命令发送到远程服务器实例 'TCP://xxx:5022'.…

keepalive配置mysql自动故障转移 原创 2016年02月29日 02:16:52 2640 本文先配置了一个双master环境,互为主从,然后通过Keepalive配置了一个虚拟IP,客户端通过虚拟IP连接master1,当master1宕机,自动切换到master2.一次只能连接其中一个master进行读写,所以是active-passive模式. 一 Mysql主主复制搭建   1.1 实验环境 两台机器事先都已经装好了mysql单实例. 二者的端口号需要保持一致,否则在最后用v…

目的是尝试altas的读写分离,现有一套搭建好做测试的MGR(单主),于是就腿搓绳,在MGR基础上搭建altas. 复制环境准备 读写分离理论上讲,跟复制模式没有关系,atlas负责的是重定向读写,至于复制模式自己选择,这里是测试环境,之前测试MGR的单机多实例,MGR单主模式的复制模式,就顺便借助MGR做基于atlas的读写分离. atlas安装 rpm安装,瞬间完成 atlas的配置文件(默认/usr/local/mysql_proxy/conf/test.cnf),个人感觉是一个非常清爽的…

使用数据库镜像来提高数据库的高可用性,在镜像服务器创建镜像数据库的快照以卸载报表查询对生产数据库的负载.TechNet有讲座对此技术进行介绍,但看到大家在讲座的讨论区中遇到了很多问题,下面我把在非域环境中带自动故障转移功能的镜像数据库的代码共享一下,在域环境中创建不用考虑太多用户权限的问题,在此不介绍,创建镜像包括以下几步: 1.创建备份数据库还原至镜像服务器2.创建相应的镜像端点3.给相应用户分配连接至端点的权限4.首先在镜像数据库设置伙伴5.然后在主体服务器设置伙伴6.在主体服务器设置见证服…

系列目录 InterSystems Ensemble学习笔记(一) Ensemble介绍及安装InterSystems Ensemble学习笔记(二) Ensemble创建镜像, 实现自动故障转移 一,使用场境介绍 Mirror Failover Members,镜像故障转移. 要实现自动故障转移,镜像必须包两个故障转移成员,通常是两台独立服务器,每个服务器托管独立的Caché数据库实例. 在任意时刻,一个成员为主节点,另一个成员为备节点. 主节点提供应用程序访问和数据库联接.备节点只作为备份服…

一.说明 从上一节可看出,虽然搭建好了HA架构,但是只能手动进行active与standby的切换: 接下来看一下用zookeeper进行自动故障转移: # 在启动HA之后,两个NameNode都是standby状态,可以利用zookeeper的选举功能,选出一个当Active # 监控 ZKFC FailoverController 二.配置 1.hdfs-site.xml #"开启自动转移功能",加入以下内容: <property> <name>dfs.ha…

自从10 gen用Replica Set取代Master/Slave方案后生活其实已经容易多了,但是真正实施起来还是会发现各种各样的小问题,如果不小心一样会栽跟头. 在跟Replica Set血拼几天之后,笔者写下以下的血泪史,供大家参考. 背景知识 Replica Set的目标是取代Master/Slave方式成为MongoDB新的集群组织方式,目前已经适合生产环境使用. 原理上二者差不多,都是通过local库中的oplog存放操作日志,再重做日志而把操作复制到新的实例上. 按照官方说法,Re…

问题描述:    上一篇就是NameNode 的HA 部署完成,但是存在问题,问题是如果 主NameNode的节点宕机了,还是需要人工去使用命令来切换NameNode的Acitve 这样很不方便,所以 这篇学习笔记就是记录如何解决  故障转移的 启动以后每个都是Standby,选举一个为Active 监控  每个NameNode 都应该监控  (ZKFC   Failover  Controller  失败故障转移控制器) 开始进行配置 在hdfs-site.xml 文件中配置 : <prope…

1:数据同步的原理: 当Primary节点完成数据操作后,Secondary会做出一系列的动作保证数据的同步: 1:检查自己local库的oplog.rs集合找出最近的时间戳. 2:检查Primary节点local库oplog.rs集合,找出大于此时间戳的记录. 3:将找到的记录插入到自己的oplog.rs集合中,并执行这些操作. 2:查看副本集的信息 gechongrepl:PRIMARY> rs.status() { "set" : "gechongrepl&quo…

如果你还不了解Replica Set的相关理论,请猛戳传送门阅读笔者的上一篇博文. 因为Replica Set已经属于MongoDb的进阶应用,下文中关于MongoDb的基础知识笔者就不再赘述了,请参考MongoDb Manual. 下面分各种场景讲述如何创建一个Replica Set. Standalone到Replica Set 这是相对简单的一种情况.如果你刚刚在生产环境应用MongoDb,很有可能适用于这种场景. 一台独立的MongoDb实例变为Replica Set的首位成员很容易,需…

环境说明:本环境由两台mysql 数据库和heartbeat 组成,一台的ip 为 192.168.10.197,一台为192.168.10.198,对外提供服务的vip 为192.168.10.200 备注:heartbeat 本身是不能做到服务不可用自动切换的,所以用结合 额外的脚本才可以做到,本文中提到的moniter 脚本即为实现某个 mysql 服务不可用的时候自动切换的还可以自动报警 安装和配置过程分为如下几步: 第一部分:mysql 的安装配置 1 安装 1.1. 添加mysql…

MongoDB有主从复制和副本集两种主从复制模式,主从复制最大的问题就是无法自动故障转移,MongoDB副本集解决了主从模式无法自动故障转义的特点,因此是复制的首选.对于简单的主从复制无法自动故障转移的缺陷,各个数据库都在改进,MySQL推出的MGR,Redis的哨兵,Mongodb的复制集. 对于主从复制模式:mongodb的主从配置异常简单,如果是非安全认证模式,只需要在主节点增加master = true,从节点增加slave = true和source = ip:port两个节点,分别启…

上面的介绍的数据同步(http://www.cnblogs.com/guoyuanwei/p/3293668.html)相当于传统数据库中的备份策略,mongoDB在此基础还有自动故障转移的功能.在复制集概述那一节提到过心跳"lastHeartbeat"字段,mongoDB就是靠它来实现自动故障转移的. mongod实例每隔2秒就向其它成员发送一个心跳包以及通过rs.staus()中返回的成员的”health”值来判断成员的状态.如果出现复制集中primary节点不可用了,那么复制集中…

前面的文章介绍了Mongodb的安装使用,在 MongoDB 中,有两种数据冗余方式,一种 是 Master-Slave 模式(主从复制),一种是 Replica Sets 模式(副本集). Mongodb一共有三种集群搭建的方式: Replica Set(副本集). Sharding(切片) Master-Slaver(主从)[目前已不推荐使用了!!!] 其中,Sharding集群也是三种集群中最复杂的. 副本集比起主从可以实现故障转移!!非常使用! mongoDB目前已不推荐使用主从模式,取…

转载努力哥原文,原文连接https://www.cnblogs.com/nulige/p/7613721.html 介绍了Mongodb的安装使用,在 MongoDB 中,有两种数据冗余方式,一种 是 Master-Slave 模式(主从复制),一种是 Replica Sets 模式(副本集). 1 2 3 4 5 6 7 8 9 10 11 12 13 Mongodb一共有三种集群搭建的方式: Replica Set(副本集). Sharding(切片) Master-Slaver(主从)[目…

从0开始搭建SQL Server AlwaysOn 第二篇(配置故障转移集群) 第一篇http://www.cnblogs.com/lyhabc/p/4678330.html第二篇http://www.cnblogs.com/lyhabc/p/4682028.html第三篇http://www.cnblogs.com/lyhabc/p/4682986.html第四篇http://www.cnblogs.com/lyhabc/p/6136227.html 这一篇是从0开始搭建SQL Server…

原文地址:  http://www.cnblogs.com/lyhabc/p/4682028.html 这一篇是从0开始搭建SQL Server AlwaysOn 的第二篇,主要讲述如何搭建故障转移集群,因为AlwaysOn是基于Windows的故障转移集群的 在讲解步骤之前需要了解一下故障转移集群仲裁配置 下面图片来自<Windows Server2012系统配置指南> 四种集群的仲裁配置: 1.多数节点:这种配置不会用到仲裁磁盘,而所谓多数节点就是在正常节点数量占多数的情况下,集群才会提供…

具体测试环境请参考: AlwaysOn可用性组测试环境安装与配置(一)--SQL群集环境搭建 AlwaysOn可用性组测试环境安装与配置(二)--AlwaysOn配置(界面与T-SQL) 一. AlwaysOn可用性组故障转移测试 1. 自动故障转移 1.1 将故障转移模式改成自动,如果实例为SQL Server故障转移实例则配置无效. 1.2 在SERVER03自动转移,CLUSTEST03\CLUSTEST03手动转移的情况下,kill SERVER03的SQL Server服务.如下界面…

6.模拟群集故障转移 6.1 模拟手动故障转移(1+1) 模拟手动故障转移的目的有以下几点: 测试群集是否能正常故障转移 测试修改端口是否能同步到备节点 测试禁用full-text和Browser服务对故障转移是否有影响 测试禁用管道协议对故障转移是否有影响 以上问题在“基于iSCSI的SQL Server 2012群集测试(二)--SQL群集安装后初始化配置测试”已经有说明,以下是在设置完成后故障转移的整个过程.正常完成. 活动节点的服务情况 非活动节点的服务情况 手动故障转移各个状态过程 6…

SQL Server 2008 数据库镜像部署实例之二 配置镜像,实施手动故障转移 上一篇文章已经为配置镜像数据库做好了准备,接下来就要进入真正的配置阶段 一.在镜像数据库服务器上设置安全性并启动数据库镜像会话 1.展开数据库,选择VirtualManagerDB,点击右键选择任务——镜像 2.点击配置安全性,点选是,包括见证服务器 3.去掉见证服务器,以后进行配置 4.设置主体服务器,填入端点名称为site1 5.添加镜像服务器,取端点名为site2 6.指定服务账户为域管理员账户(可以在域内…

目前,Redis还没有一个类似于MySQL Proxy或Oracle RAC的官方HA方案.Redis作者有一个名为Redis Sentinel的计划 ,据称将会有监控,报警和自动故障转移三大功能,非常不错.但可惜的是短期内恐怕还不能开发完成.因此,如何在出现故障时自动转移是一个需要解决的问题.通过对网上一些资料的搜索,有建议采用HAProxy或Keepalived来实现的,事实上如果是做Failover而非负载均衡的话,Keepalived的效率肯定是超过HAProxy的,所以我决定采用Kee…

目的: a) AlwaysOn 可用性组功能是一个提供替代数据库镜像的企业级方案的高可用性和灾难恢复解决方案. b) 当数据库服务器SQL1出现故障宕机时,可以通过AlwaysOn可用性组,自动故障转移到数据库服务器SQL2.   =============== 具体步骤 ===============   1. 服务管理器添加Hype-V角色,并且新建3台虚拟机: a) AlwaysOn-SCSI : iSCSI目标服务器(用于创建仲裁磁盘和共享磁盘) b) AlwaysOn-SQL1 : 数…

在Windows Server 2012 R2 DataCenter 环境中搭建集群之前,首先要对Windows服务器故障转移集群(Windows Server Failover Cluster,简称WSFC)有基本的了解.WSFC必须部署在域管理环境中,由多台服务器组成,每台服务器称作一个“结点”(Node),每个结点上都运行了Windows服务器故障转移集群服务,整个集群系统允许部分结点掉线.故障或损坏而不影响整个系统的正常运作.集群自动检测结点的健康状态,一旦活跃结点发生异常,变为不可用,…

本篇文章主要介绍Windows2012的故障转移集群一个新功能“动态仲裁”,默认该功能是开启的: 动态仲裁能在当前群集投票出现分歧的情况下取消某些节点的投票权限,比如偶数个节点的群集环境.仲裁见证和动态仲裁有点相似也可以解决群集投票分歧的问题,但是它不能取消节点的投票权,它能保持群集的投票个数保持奇数个数. SQLServer版本: SQL Server 2016 SP1 Windows版本:Windows Server 2012 DataCenter 群集节点:HD21DB03,HD21DB0…

估计是春节前最后一次写博客,也估计是本年值班最后一次踩雷,感叹下成也SQL SERVER,败也SQL SERVER. --============================================================== 场景描述: 操作系统版本 :Windows Server 2012 数据中心版本 数据库版本 :SQL SERVER 2012 企业版,版本号:11.0.5582.0 问题描述:数据库配置Alwayson环境,同机房2节点同步自动切换+跨机房异步,实现…