源地址:http://www.cnblogs.com/SuperXJ/p/3480929.html

数据复制技术很多,初步比较如下。 后面重点讨论银行最常用的存储复制和数据库复制。。当然,我最推荐的还是应用方式。。只有应用做好了才能做到真正的多活应用!!!银行需要加大研发力度, 摆脱厂商的束缚,长远来看,肯定是节约成本的。但是目前由于风险问题,还是很少这方面的尝试

类别

方案

描述

优点

缺点

应用

应用双写

应用同时连接两个数据库将数据写入的方式,或应用将产生的文件写入到两个存储位置。

数据保护性最好

需要应用开发

双写应用受限较多,例如应用所能忍受的延迟、性能问题等

应用定时复制

应用按照定时的策略检测源端和目标端的数据差异,并将数据增量部分发送到目标端。

数据保护依据定时策略进行保护

数据可以按照策略定时在三中心生效

需要应用开发

需要开发特定的模块

数据库

数据库复制

通过数据库内置或者第三方的软件如Data Guard、Share Plex、Golden Gate等基于日志方法将数据同步或异步发送到目的端的数据库。 extend rac也勉强算

针对指定的库表进行保护

经过业界长期使用,可靠性较高

仅可以对结构化数据进行复制,不能针对非结构化数据进行复制

需要购买第三方的软件许可

数据库需要一定的调整

操作系统

LVM卷复制

通过操作系统或者数据卷管理器来实现对数据的远程复制。

依赖操作系统自身的卷管理功能实现数据的复制

复制的数据不能同时被挂起使用

虚拟存储

虚拟化存储复制

复制技术是伴随着存储局域网的出现引入的,通过构建虚拟存储上实现数据复制。

通过存储虚拟化设备实现数据的复制,不依赖底层存储

需要新购存储虚拟化设备,复制的数据不能同时被挂起使用

存储

NAS/SAN存储复制

数据的复制过程通过本地的存储系统和远端的存储系统之间的通信完成。

基于存储底层实现

应用不需要改造

复制数据不能在及时读写使用

需要采购额外的NAS/SAN存储

需要采购额外的存储复制许可

开放平台存储复制技术

开放平台存储复制技术使基于实现存储磁盘阵列之间的直接镜像,通过存储系统内建的固件(Firmware)或操作系统,利用IP网络或DWDM、光纤通道等传输界面连结,将数据以同步或异步的方式复制到远端。

该类技术优点就是将数据与应用系统分开,对主机系统的运行资源基本无影响。另外,由于运行机制大多是利用镜像来复制数据,并借助高速缓冲存储器加速I/O 存取,两端的数据差异时间点比较小,加上存储系统本身具备一定的容错能力,使之具有较高的运行性能和可靠性。对主机透明,对应用系统的影响较小,技术成 熟,有较多的成功案例,但是投资较大,对网络连接的要求也较高。

主要开放平台存储复制技术代表厂商有:

EMC的SRDF-A 异步存储复制方案。存储平台均需要采用Symmetrix系统,其他存储平台可先将卷通过FTS技术先由Symmetrix Vmax平台识别和管理,再进行容灾复制。

SRDF-S同步复制方案,存储设备要求是EMC symmetrix系列平台。

IBM的Global Mirror异步数据复制方案,基于DS8800存储微码软件实现。

Metro Mirror同步数据复制方案,基于DS8800存储微码软件实现。

HP Business Copy

HDS True Copy

开放平台数据库复制技术

开放平台数据库复制技术是一种基于数据库log(日志)的结构化数据复制技术,它通过解析源数据库在线log或归档log获得数据的增、删、改变化,再将 这些变化应用到目标数据库,使源数据库与目标数据库同步,以达到多站点间数据库可双活甚至多活,实现业务持续可用和容灾的目的。

主要开放平台数据库复制技术有:

IBM的InfoSphere Change Data Capture(CDC)

Quest的SharePlex  只支持Oracle

Oracle的GoldenGate

Data Guard

Oracle extended RAC 这其实就是把RAC的距离拉大到同城,当然延时必须小,所以一般都需要用裸光纤。这种技术可以实现同步的数据复制,可以实现的灾备模式有a-a a-s a-query

开放平台数据备份技术

Symantec提供的NetBackup具有4种数据备份技术:Vault技术、Dedup技术、基于备份设备的数据备份技术和并发数据备份技术。

大机平台存储和数据库备份技术

大机平台存储复制技术通常用于重要核心系统的数据复制,具有数据量大、业务连续性要求高的特点。基于存储的数据复制技术,可以在不区分数据逻辑意义 的情况下将更新的数据连续地复制到远程磁盘,复制效率高、管理简便,但复制盘的数据无法实时访问,只能将目标数据FlashCopy出来启用,目标端需要 配备一定的主机和磁盘资源,适于应用系统的A-S模式

存储备份技术主要包括:

Metro Mirror for z/OS (PBRC) 同步复制,基于存储控制器的微码实现。

Global Mirror for z/OS异步磁盘镜像技术

XRC 异步磁盘镜像技术

大机平台DB2数据库复制技术一般均基于数据库日志,因此只有记录日志的数据库操作才能被复制。数据复制由软件实现,因此需要在源端和目标端安装数据库和 复制软件。目标数据库可以实时访问,因此此类技术适用于A-A和A-Q模式,但需要应用支持,A-A模式下还需要具备较完善的冲突处理机制。

数据库备份技术有:

QREP

CDC

目前IBM已将此两种技术打包为一个产品,名为InfoSphere Data Replication for DB2 for z/OS

另外大机的磁带库技术主要使用 Oracle  STK

虚拟化(云)技术

1、服务器虚拟化

服务器虚拟化技术可以将同城双中心间服务器资源进行虚拟化,形成一个统一的服务器资源池,提高了多站点系统资源分配的灵活性,为数据中心间的负载均 衡提供了保障。当一个站点出现计划内或者计划外中断时,其上运行的虚拟机可以在运行状态下快速的自动迁移至其他数据中心内的物理服务器上,可以有效提高业 务连续性。

虚拟机在运行状态下从一个站点物理服务器迁移至另一个站点物理服务器,依赖与IP网络和SAN网络的传输质量,还依赖于存储虚拟化技术和网络虚拟化技术的实现,建议IP网络二层打通(内存复制使用),SAN网络打通(同城双中心存储虚拟化使用)。

主机虚拟化技术主要有IBM的PowerVM、VMware的Vsphere和HP的VPar/IVM,另外还有开源的KVM很值得推荐。

在上述三种服务器虚拟化技术中,都能实现将物理服务器虚拟化,提高服务器资源的利用率,配合存储虚拟化和网络虚拟化技术能实现虚拟机的在同城双站点 间物理主机的迁移,有助于减少当计划内和计划外站点中断时的停机时间。但是他们在兼容性、功能、安全性、可操作性、可扩展性、可靠性、同其他技术的结合性 和应用广泛性等方面有一定差异,总结如下:

(1)     对平台的要求方面。VMware的Vsphere仅支持X86平台;IBM的PowerVM仅支持IBM小机平台;HP VPar/IVM仅支持HP平台。

(2)     功能方面。VMware的Vsphere扩展功能更加全面(例如有vSphere High Availability、虚拟防火墙和vSphere DRS节电管理等等),而其他方案扩展功能相对较少。

(3)     安全性方面。IBM的Power VM通过了EAL4+安全认证,IBM的Power VM和HP的VPar/IVM从底层硬件到上层的操作系统,均为同一厂商提供,可靠性和兼容性相对较高。

(4)     可操作性方面。VMware的Vsphere的管理软件更易于使用。

(5)     可靠性方面。IBM的PowerVM hypervisor集成在固件中,可靠性相对略高。

(6)     同其他技术的结合性方面。VMware的Vsphere同思科交换机结合较好,可实现虚机的流控等能力。赛门特克对VMware的Vsphere支持较好,可以实现虚机甚至虚机里文件级别的备份恢复。

(7)     可扩展性方面。IBM的PowerVM虚拟化可扩展性相对较好,每个虚拟机支持的虚拟CPU数量相对较多、支持的内存相对较大。单个物理机支持的最大虚拟机相对较多。

(8)     应用广泛性方面。VMware的Vsphere在国内四大银行和其他很多银行均在使用。ICBC从2007年开始使用,最开始用于珠海开发测试中 心,2008年用于北京和上海的生产中心,同时分行也大规模使用,ABC从2008年开始使用,全球和全国市场占有率相对较高。IBM的PowerVM在 中国国内银行资产排名前五的各银行的开发测试环境广泛使用,部分生产环境已深入使用PowerVM技术。HP的VPar/IVM国内金融行业的开发测试环 境广泛使用,国内的太平洋保险在生产环境有初步应用。

2、存储虚拟化

存储虚拟化可以提高容错,和做到跨存储的虚机漂移。

主要技术有VPLEX\SVC\GPFS\HYPERSWAP\HAM

3、网络虚拟化

当前,大多数企业网络及其数据中心跨越了多个位于不同地理位置的物理站点,以此来实现高可靠性和冗余部署,在这些站点部署类似的业务,需要在这些站点之间进行二层互通。

跨数据中心二层网络技术可以实现站点间的资源动态调配和管理,虚拟机在数据中心之间能够自由迁移,保证虚拟机迁移过程对用户透明,不改变IP地址。

跨数据中心二层网络技术基于MAC-in-IP的技术,通过将MAC封装实现跨IP网二层互通,通过“扩展IS-IS协 议”实现跨IP网络的MAC地址学习、汇聚高端交换机之间运行“扩展IS-IS”,支持此类技术的设备实现ARP代理功能,通过跨数据中心二层网络技术主 要实现如下功能:

1、 VM虚拟机的迁移,不改变虚机IP地址。

2 、服务器集群等跨数据中心二层互联功能。

主要技术有H3C EVI和思科 OTV, 都是私有技术。

[转]金融业容灾技术分析 (终于看到QREP了)的更多相关文章

  1. [转]Google 的开源技术protobuf 简介与例子

    本文来自CSDN博客:http://blog.csdn.NET/program_think/archive/2009/05/31/4229773.aspx 今天来介绍一下“Protocol Buffe ...

  2. 微软分布式云计算框架Orleans(2):容灾与集群(1)

    在上一篇:微软分布式云计算框架Orleans(1):Hello World,我们大概了解了Orleans如何运用,当然上一篇的例子可以说是简单且无效的,因为用了Orleans不可能只写一个Hello ...

  3. 包建强的培训课程(3):App竞品技术分析

    @import url(http://i.cnblogs.com/Load.ashx?type=style&file=SyntaxHighlighter.css);@import url(/c ...

  4. [干货]2017已来,最全面试总结——这些Android面试题你一定需要

        地址.http://blog.csdn.net/xhmj12/article/details/54730883 相关阅读: 吊炸天!74款APP完整源码! [干货精品,值得收藏]超全的一线互联 ...

  5. 从数据仓库双集群系统模式探讨,看GaussDB(DWS)的容灾设计

    摘要:本文主要是探讨OLAP关系型数据库框架的数据仓库平台如何设计双集群系统,即增强系统高可用的保障水准,然后讨论一下GaussDB(DWS)的容灾应该如何设计. 当前社会.企业运行当中,大数据分析. ...

  6. 华为云计算IE面试笔记-请描述华为容灾解决方案全景图,并解释双活数据中心需要从哪些角度着手考虑双活设计

    容灾全景图: 按照距离划分:分为本地容灾 同城容灾 异地容灾  本地容灾包括本地高可用和本地主备.(本数据中心的两机房.机柜) 本地高可用这个方案为了保持业务的连续性,从两个层面来考虑: ①一个是从主 ...

  7. 【虚拟化实战】容灾设计之一VR vs SRM

    作者:范军 (Frank Fan) 新浪微博:@frankfan7 从本文开始,我们将介绍一系列的关于容灾的解决方案.先探讨应用的场景,然后再深入介绍技术架构. 情景一: 某小型公司的虚拟化环境中,在 ...

  8. 【虚拟化实战】容灾设计之三Stretched Cluster

    作者:范军 (Frank Fan) 新浪微博:@frankfan7 Stretched Cluster是一把双刃剑,会用的如行云流水,用不好反而受其限制. 传统的vSphere Cluster是指一个 ...

  9. QQ 相册后台存储架构重构与跨 IDC 容灾实践

    欢迎大家前往云加社区,获取更多腾讯海量技术实践干货哦~ 作者简介:xianmau,2015 年加入腾讯 TEG 架构平台部,一直负责 QQ 相册平台的维护和建设,主导相册上传架构重构和容灾优化等工作. ...

随机推荐

  1. Unity Animator动画状态机 深入理解(一)

    接触Unity以来就已经有了Animator,Animation用的少,不过也大概理解他俩之间的一个区别于联系. 图中其实就是Animator和Animation之间的区别于联系了,啊!你肯定会告诉我 ...

  2. Web系统大规模并发——电商秒杀与抢购

    电商的秒杀和抢购,对我们来说,都不是一个陌生的东西.然而,从技术的角度来说,这对于Web系统是一个巨大的考验.当一个Web系统,在一秒钟内收到数以万计甚至更多请求时,系统的优化和稳定至关重要.这次我们 ...

  3. [教程] [授权翻译] 使用补丁修改DSDT/SSDT [DSDT/SSDT综合教程]

    [教程] [授权翻译] 使用补丁修改DSDT/SSDT [DSDT/SSDT综合教程] http://bbs.pcbeta.com/viewthread-1571455-1-1.html [教程] [ ...

  4. Spring MVC学习笔记——返回JSON对象

    1.想要GET请求返回JSON对象,首先需要导入jackson-all-1.9.4.jar包 2.在控制器中添加不同的show()方法 //show()方法返回JSON对象 @RequestMappi ...

  5. C数组下标越界

    之前总听说C语言的各种毛病,今天算是遇到一个:数组下标越界 事情经过 两段完成不相干的代码,一段是测温度的,一段是测转速的.两段代码单独运行都没有问题,但是若运行测转速的代码,测温度的数据就会发生错误 ...

  6. linux查看端口占用情况

    今天要使用python写一个端口探测的小程序,以检测一些特定的服务端口有没有被占用,突然发现自己居然不知道在linux中如何查询端口被占用的情况,天呐,赶快学习一下.

  7. Excel—TEXT函数功能详解

    1.将数值转为文本: "@" 2.转换为特定时间格式: "yyyy年mm月dd日" "yyyy/mm/dd" "yyyy/m/d& ...

  8. 【Matlab】特征值

    特征值 clc;clear; %[V,D]=eig(A) //求取特征值 A=[ 1 2 4; 4 0 7; 9 1 3 ]; [V,D]=eig(A) 结果如下: 求解特征值与特征向量时矩阵必须是方 ...

  9. MySQL日志

    在MySQL中共有4中日志:错误日志.二进制日志.查询日志和慢查询日志 一.错误日志 错误日志名 host_name.err,并默认在参数DATADIR指定的目录中写入日志文件.可使用 --log-e ...

  10. bzoj4314

    首先,我们考虑原题取消k的限制后怎么做. 设(xy)是一个n次单位根,f(x)=(1+x^0)*(1+x^1)*(1+x^2)*...*(1+x^n-1) 参见 http://bx2k.is-prog ...