首先介绍Snapshot snapshot可以为volume创建快照,快照中保存了volume当前的状态,此后可以通过snapshot回溯 主要采用了Copy On Write算法.进行快照时,不牵涉到任何档案复制动作,它所作的只是通知服务器将目前有数据的磁盘区块全部保留起来,不被覆写.接下来档案修改或任何新增.删除动作,均不会覆写原本数据所在的磁盘区块,而是将修改部分写入其它可用的磁盘区块中. COW技术在很多场景都有应用,下图为编程中创建子进程时采用COW技术的场景(思想一致): 只读情况:

Backup 是将 volume 备份到别的地方(备份设备),将来可以通过 restore 操作恢复. 初看 backup 功能好像与 snapshot 很相似,都可以保存 volume 的当前状态,以备以后恢复.但二者在用途和实现上还是有区别的,具体表现在: Snapshot 依赖于源 volume,不能独立存在:而 backup 不依赖源 volume,即便源 volume 不存在了,也可以 restore. Snapshot 与源 volume 通常存放在一起,都由同一个 volume p

欢迎大家前往云加社区,获取更多腾讯海量技术实践干货哦~ 作者简介:xianmau,2015 年加入腾讯 TEG 架构平台部,一直负责 QQ 相册平台的维护和建设,主导相册上传架构重构和容灾优化等工作.主要研究方向为口语对话系统.分布式系统架构设计和优化,发表对话系统相关学术论文 3 篇,系统架构相关专利 2 篇. 本文由腾讯技术工程官方号发布在云加社区. 写在前面 QQ 相册作为重量级资深业务,稳定运营.有效容灾,一直是相册团队追求的目标.QQ 相册架构一直在演变进化,本文重点介绍相册最新的一次

本章目录 0x00 数据持久化 1.RDB 方式 2.AOF 方式 如何抉择 RDB OR AOF? 0x01 备份容灾 一.备份 1.手动备份redis数据库 2.迁移Redis指定db-数据库 3.Redis集群数据备份与迁移 二.恢复 1.系统Redis用户被删除后配置数据恢复流程 2.Kubernetes中单实例异常数据迁移恢复实践 3.当Redis集群中出现从节点slave,fail,noaddr问题进行处理恢复流程. 前置知识学习补充 Redis数据库基础入门介绍与安装 - http

源地址:http://www.cnblogs.com/SuperXJ/p/3480929.html 数据复制技术很多,初步比较如下. 后面重点讨论银行最常用的存储复制和数据库复制..当然,我最推荐的还是应用方式..只有应用做好了才能做到真正的多活应用!!!银行需要加大研发力度, 摆脱厂商的束缚,长远来看,肯定是节约成本的.但是目前由于风险问题,还是很少这方面的尝试 类别 方案 描述 优点 缺点 应用 应用双写 应用同时连接两个数据库将数据写入的方式,或应用将产生的文件写入到两个存储位置. 数据保

在上一篇:微软分布式云计算框架Orleans(1):Hello World,我们大概了解了Orleans如何运用,当然上一篇的例子可以说是简单且无效的,因为用了Orleans不可能只写一个Hello World吧,Orleans是为分布式和云计算而生的框架,那么今天我们就简单说一说容灾.集群.容灾与集群在Orleans中的运用. 集群是什么? 下面摘抄自百度百科: 集群(cluster)技术是一种较新的技术,通过集群技术,可以在付出较低成本的情况下获得在性能.可靠性.灵活性方面的相对较高的收益,

实验简单来讲就是 1. put 一个600M文件,分散3个replica x 9个block 共18个blocks到4个datanode 2. 我关掉了两个datanode,使得大部分的block只在一个datanode上存在,但因为9个很分散,所以文件能正确取回(靠的是checksum来计算文件值) 3. hadoop namenode很迅速的复制了仅有一个replica的block使之成为 3 replica(2) but only found 2 4. 我再关掉一个datanode,结果发

作者:范军 (Frank Fan) 新浪微博:@frankfan7 从本文开始,我们将介绍一系列的关于容灾的解决方案.先探讨应用的场景,然后再深入介绍技术架构. 情景一: 某小型公司的虚拟化环境中,在5台ESXi服务器上运行100台虚拟机.采用NFS存储.其中需要异地恢复的虚拟机10台.对于异地容灾RPO的要求是30分钟,RTO是1小时.已经使用vSphereStandard 许可.软件购买成本有限. 建议: 采用vSphere Replication (VR) VR对于已经使用vSphere 

本文由  网易云发布. 数字化转型浪潮之下,采用云计算服务提升业务敏捷性.降低运维成本,成为了传统企业的优选方案.网易云资深解决方案架构师张亮通过某物流企业客户的实际案例,分享了传统业务系统在云上的架构设计如何满足数据高可靠.业务高可用的需求,并总结了传统业务上云的常见问题和解决方案. 物流企业业务系统上云需求 对于物流企业来说,内部沟通.供应链协同对优化供应链效率提升核心竞争力非常重要.作为行业翘楚,该物流企业客户建立了一个企业级移动办公平台,该平台集成了即时通讯(IM).企业内部的ERP.O

一 简介 我们来探讨下多机房下的mysql架构二 目的:    首先要清楚你的目的     1 实现异地机房的容灾备份      2 实现异地机房的双活 三 叙说     1 实现异地机房的容灾备份     目的 只是将数据备份到异地,当第一机房发生故障时,能最大可能的保留数据.实现冗余效果     业务 核心业务在第一机房,第二机房和第一机房都共同使用第一机房的数据源,只有当第一机房发 生故障时,核心业务才会切换到第二机房     实现难度 简易    角色 1 数据备份冗余 2 故障发生时的

场景分析 每个机房的Ceph都是独立的cluster,彼此之间没有任何关系. 多个机房都独立的提供对象存储功能,每个Ceph Radosgw都有自己独立的命名空间和存储空间. 这样带来两个问题: 针对Radosgw来说,我们的业务没法提供统一的命名空间: 没有机房级别的容灾,若一个机房Radosgw无法访问,则机房提供的对象存储瘫痪: Realm: Zonegroup: 理解为数据中心,由一个或多个Zone组成,每个Realm有且仅有 一个Master Zonegroup,用于处理系统变更,其他

介绍两种HBase的数据备份或者容灾方案:Snapshot,Replication: 一.Snapshot 开启快照功能,在hbase-site.xml文件中添加如下配置项: <property> <name>hbase.snapshot.enabled</name> <value>true</value> </property> 在hbase shell中使用clone_snapshot, delete_snapshot, list

centos6.5环境通过shell脚本备份php的web及mysql数据库并做远程备份容灾 系统:centos6.5 1.创建脚本目录 mkdir -p /usr/local/sh/ 创建备份web文件存放目录 mkdir -p /data/backup/www/ 创建备份db文件存放目录 mkdir -p /data/backup/db/ 授权backup用户对所有数据库的操作权限(注意用来备份mysql数据库) GRANT ALL PRIVILEGES ON *.* TO 'backup'

序言 在上一篇博客中,博客介绍了redis的数据类型使用场景和redis分布式锁的正确姿势.我们知道一旦Redis重启,存在redis里面的数据就会全部丢失.所以这篇博客中向大家介绍Redis的磁盘持久化. REDIS持久化 以每隔一段时间对redis进行快照的方式实现持久化 RDB持久化 优点:1.对redis性能影响小. 2.数据集比较大的时候,恢复速度比AOF快.   3.RDB是一个非常紧凑的单一文件,很方便传到第三方数据中心(亚马逊S3),以便日后的灾难恢复. 缺点:1.因为RDB的快

在灾难恢复方面,目前业界公认有三个目标值得努力.一是恢复时间,企业能忍受多长时间没有 IT,处于停业状态:二是网络多长时间能够恢复:三是业务层面的恢复.整个恢复过程中,最关键的衡量指标有两个:一个是 RTO,另一个是 RPO.所谓 RTO,Recovery Time Objective,它是指灾难发生后,从 IT 系统当机导致业务停顿之时开始,到 IT 系统恢复至可以支持各部门运作.恢复运营之时,此两点之间的时间段称为 RTO.所谓 RPO,Recovery Point Objective,是指

实验简单来讲就是 1. put 一个600M文件,分散3个replica x 9个block 共18个blocks到4个datanode 2. 我关掉了两个datanode,使得大部分的block只在一个datanode上存在,但因为9个很分散,所以文件能正确取回(靠的是checksum来计算文件值) 3. hadoop namenode很迅速的复制了仅有一个replica的block使之成为 3 replica(2) but only found 2 4. 我再关掉一个datanode,结果发

一.前言 本文主要介绍Hbase常用的三种简单的容灾备份方案,即CopyTable.Export/Import.Snapshot.分别介绍如下: 二.CopyTable 2.1 简介 CopyTable可以将现有表的数据复制到新表中,具有以下特点: 支持时间区间 .row区间 .改变表名称 .改变列族名称 .以及是否Copy已被删除的数据等功能: 执行命令前,需先创建与原表结构相同的新表: CopyTable的操作是基于HBase Client API进行的,即采用scan进行查询, 采用put

HBase的数据备份或者容灾方案有这几种:Distcp,CopyTable,Export/Import,Snapshot,Replication,以下分别介绍(以下描述的内容均是基于0.94.20版本). 一.Distcp 在使用distcp命令copy hdfs文件的方式实现备份时,需要禁用备份表确保copy时该表没有数据写入,对于在线服务的hbase集群,该方式不可用,而且在一些文章中可以看到通过distcp文件恢复hbase表时需使用: bin/hbase org.jruby.Main b

一.前言 本文主要介绍 Hbase 常用的三种简单的容灾备份方案,即CopyTable.Export/Import.Snapshot.分别介绍如下: 二.CopyTable 2.1 简介 CopyTable可以将现有表的数据复制到新表中,具有以下特点: 支持时间区间 .row 区间 .改变表名称 .改变列族名称 .以及是否 Copy 已被删除的数据等功能: 执行命令前,需先创建与原表结构相同的新表: CopyTable 的操作是基于 HBase Client API 进行的,即采用 scan 进

Hbase数据备份&&容灾方案 标签(空格分隔): Hbase 一.Distcp 在使用distcp命令copy hdfs文件的方式实现备份时,需要禁用备份表确保copy时该表没有数据写入,对于在线服务的hbase集群,该方式不可用,将静态此目录distcp 到其他HDFS文件系统时候,可以通过在其他集群直接启动新Hbase 集群将所有数据恢复. 二.CopyTable 执行命令前,需在对端集群先创建表 支持时间区间.row区间,改变表名称,改变列簇名称,指定是否copy删除数据等功能,例

数据库的高可用是指最大程度地为用户提供服务,避免服务器宕机等故障带来的服务中断.数据库的高可用性不仅仅体现在数据库能否持续提供服务,而且也体现在能否保证数据的一致性. SequoiaDB 巨杉数据库作为一款100%兼容 MySQL 的国产开源分布式数据库,它在高可用方面的表现如何?它的高可用性是如何实现的?本文将详细描述SequoiaDB巨杉数据库的高可用性原理,并进行测试验证. 01 巨杉分布式集群架构SequoiaDB 巨杉数据库采用计算与存储分离架构,SequoiaSQL-MySQL 是