源地址:http://www.cnblogs.com/SuperXJ/p/3480929.html

数据复制技术很多,初步比较如下。 后面重点讨论银行最常用的存储复制和数据库复制。。当然,我最推荐的还是应用方式。。只有应用做好了才能做到真正的多活应用!!!银行需要加大研发力度, 摆脱厂商的束缚,长远来看,肯定是节约成本的。但是目前由于风险问题,还是很少这方面的尝试

类别

方案

描述

优点

缺点

应用

应用双写

应用同时连接两个数据库将数据写入的方式,或应用将产生的文件写入到两个存储位置。

数据保护性最好

需要应用开发

双写应用受限较多,例如应用所能忍受的延迟、性能问题等

应用定时复制

应用按照定时的策略检测源端和目标端的数据差异,并将数据增量部分发送到目标端。

数据保护依据定时策略进行保护

数据可以按照策略定时在三中心生效

需要应用开发

需要开发特定的模块

数据库

数据库复制

通过数据库内置或者第三方的软件如Data Guard、Share Plex、Golden Gate等基于日志方法将数据同步或异步发送到目的端的数据库。 extend rac也勉强算

针对指定的库表进行保护

经过业界长期使用,可靠性较高

仅可以对结构化数据进行复制,不能针对非结构化数据进行复制

需要购买第三方的软件许可

数据库需要一定的调整

操作系统

LVM卷复制

通过操作系统或者数据卷管理器来实现对数据的远程复制。

依赖操作系统自身的卷管理功能实现数据的复制

复制的数据不能同时被挂起使用

虚拟存储

虚拟化存储复制

复制技术是伴随着存储局域网的出现引入的,通过构建虚拟存储上实现数据复制。

通过存储虚拟化设备实现数据的复制,不依赖底层存储

需要新购存储虚拟化设备,复制的数据不能同时被挂起使用

存储

NAS/SAN存储复制

数据的复制过程通过本地的存储系统和远端的存储系统之间的通信完成。

基于存储底层实现

应用不需要改造

复制数据不能在及时读写使用

需要采购额外的NAS/SAN存储

需要采购额外的存储复制许可

开放平台存储复制技术

开放平台存储复制技术使基于实现存储磁盘阵列之间的直接镜像,通过存储系统内建的固件(Firmware)或操作系统,利用IP网络或DWDM、光纤通道等传输界面连结,将数据以同步或异步的方式复制到远端。

该类技术优点就是将数据与应用系统分开,对主机系统的运行资源基本无影响。另外,由于运行机制大多是利用镜像来复制数据,并借助高速缓冲存储器加速I/O 存取,两端的数据差异时间点比较小,加上存储系统本身具备一定的容错能力,使之具有较高的运行性能和可靠性。对主机透明,对应用系统的影响较小,技术成 熟,有较多的成功案例,但是投资较大,对网络连接的要求也较高。

主要开放平台存储复制技术代表厂商有:

EMC的SRDF-A 异步存储复制方案。存储平台均需要采用Symmetrix系统,其他存储平台可先将卷通过FTS技术先由Symmetrix Vmax平台识别和管理,再进行容灾复制。

SRDF-S同步复制方案,存储设备要求是EMC symmetrix系列平台。

IBM的Global Mirror异步数据复制方案,基于DS8800存储微码软件实现。

Metro Mirror同步数据复制方案,基于DS8800存储微码软件实现。

HP Business Copy

HDS True Copy

开放平台数据库复制技术

开放平台数据库复制技术是一种基于数据库log(日志)的结构化数据复制技术,它通过解析源数据库在线log或归档log获得数据的增、删、改变化,再将 这些变化应用到目标数据库,使源数据库与目标数据库同步,以达到多站点间数据库可双活甚至多活,实现业务持续可用和容灾的目的。

主要开放平台数据库复制技术有:

IBM的InfoSphere Change Data Capture(CDC)

Quest的SharePlex  只支持Oracle

Oracle的GoldenGate

Data Guard

Oracle extended RAC 这其实就是把RAC的距离拉大到同城,当然延时必须小,所以一般都需要用裸光纤。这种技术可以实现同步的数据复制,可以实现的灾备模式有a-a a-s a-query

开放平台数据备份技术

Symantec提供的NetBackup具有4种数据备份技术:Vault技术、Dedup技术、基于备份设备的数据备份技术和并发数据备份技术。

大机平台存储和数据库备份技术

大机平台存储复制技术通常用于重要核心系统的数据复制,具有数据量大、业务连续性要求高的特点。基于存储的数据复制技术,可以在不区分数据逻辑意义 的情况下将更新的数据连续地复制到远程磁盘,复制效率高、管理简便,但复制盘的数据无法实时访问,只能将目标数据FlashCopy出来启用,目标端需要 配备一定的主机和磁盘资源,适于应用系统的A-S模式

存储备份技术主要包括:

Metro Mirror for z/OS (PBRC) 同步复制,基于存储控制器的微码实现。

Global Mirror for z/OS异步磁盘镜像技术

XRC 异步磁盘镜像技术

大机平台DB2数据库复制技术一般均基于数据库日志,因此只有记录日志的数据库操作才能被复制。数据复制由软件实现,因此需要在源端和目标端安装数据库和 复制软件。目标数据库可以实时访问,因此此类技术适用于A-A和A-Q模式,但需要应用支持,A-A模式下还需要具备较完善的冲突处理机制。

数据库备份技术有:

QREP

CDC

目前IBM已将此两种技术打包为一个产品,名为InfoSphere Data Replication for DB2 for z/OS

另外大机的磁带库技术主要使用 Oracle  STK

虚拟化(云)技术

1、服务器虚拟化

服务器虚拟化技术可以将同城双中心间服务器资源进行虚拟化,形成一个统一的服务器资源池,提高了多站点系统资源分配的灵活性,为数据中心间的负载均 衡提供了保障。当一个站点出现计划内或者计划外中断时,其上运行的虚拟机可以在运行状态下快速的自动迁移至其他数据中心内的物理服务器上,可以有效提高业 务连续性。

虚拟机在运行状态下从一个站点物理服务器迁移至另一个站点物理服务器,依赖与IP网络和SAN网络的传输质量,还依赖于存储虚拟化技术和网络虚拟化技术的实现,建议IP网络二层打通(内存复制使用),SAN网络打通(同城双中心存储虚拟化使用)。

主机虚拟化技术主要有IBM的PowerVM、VMware的Vsphere和HP的VPar/IVM,另外还有开源的KVM很值得推荐。

在上述三种服务器虚拟化技术中,都能实现将物理服务器虚拟化,提高服务器资源的利用率,配合存储虚拟化和网络虚拟化技术能实现虚拟机的在同城双站点 间物理主机的迁移,有助于减少当计划内和计划外站点中断时的停机时间。但是他们在兼容性、功能、安全性、可操作性、可扩展性、可靠性、同其他技术的结合性 和应用广泛性等方面有一定差异,总结如下:

(1)     对平台的要求方面。VMware的Vsphere仅支持X86平台;IBM的PowerVM仅支持IBM小机平台;HP VPar/IVM仅支持HP平台。

(2)     功能方面。VMware的Vsphere扩展功能更加全面(例如有vSphere High Availability、虚拟防火墙和vSphere DRS节电管理等等),而其他方案扩展功能相对较少。

(3)     安全性方面。IBM的Power VM通过了EAL4+安全认证,IBM的Power VM和HP的VPar/IVM从底层硬件到上层的操作系统,均为同一厂商提供,可靠性和兼容性相对较高。

(4)     可操作性方面。VMware的Vsphere的管理软件更易于使用。

(5)     可靠性方面。IBM的PowerVM hypervisor集成在固件中,可靠性相对略高。

(6)     同其他技术的结合性方面。VMware的Vsphere同思科交换机结合较好,可实现虚机的流控等能力。赛门特克对VMware的Vsphere支持较好,可以实现虚机甚至虚机里文件级别的备份恢复。

(7)     可扩展性方面。IBM的PowerVM虚拟化可扩展性相对较好,每个虚拟机支持的虚拟CPU数量相对较多、支持的内存相对较大。单个物理机支持的最大虚拟机相对较多。

(8)     应用广泛性方面。VMware的Vsphere在国内四大银行和其他很多银行均在使用。ICBC从2007年开始使用,最开始用于珠海开发测试中 心,2008年用于北京和上海的生产中心,同时分行也大规模使用,ABC从2008年开始使用,全球和全国市场占有率相对较高。IBM的PowerVM在 中国国内银行资产排名前五的各银行的开发测试环境广泛使用,部分生产环境已深入使用PowerVM技术。HP的VPar/IVM国内金融行业的开发测试环 境广泛使用,国内的太平洋保险在生产环境有初步应用。

2、存储虚拟化

存储虚拟化可以提高容错,和做到跨存储的虚机漂移。

主要技术有VPLEX\SVC\GPFS\HYPERSWAP\HAM

3、网络虚拟化

当前,大多数企业网络及其数据中心跨越了多个位于不同地理位置的物理站点,以此来实现高可靠性和冗余部署,在这些站点部署类似的业务,需要在这些站点之间进行二层互通。

跨数据中心二层网络技术可以实现站点间的资源动态调配和管理,虚拟机在数据中心之间能够自由迁移,保证虚拟机迁移过程对用户透明,不改变IP地址。

跨数据中心二层网络技术基于MAC-in-IP的技术,通过将MAC封装实现跨IP网二层互通,通过“扩展IS-IS协 议”实现跨IP网络的MAC地址学习、汇聚高端交换机之间运行“扩展IS-IS”,支持此类技术的设备实现ARP代理功能,通过跨数据中心二层网络技术主 要实现如下功能:

1、 VM虚拟机的迁移,不改变虚机IP地址。

2 、服务器集群等跨数据中心二层互联功能。

主要技术有H3C EVI和思科 OTV, 都是私有技术。

[转]金融业容灾技术分析 (终于看到QREP了)的更多相关文章

  1. [转]Google 的开源技术protobuf 简介与例子

    本文来自CSDN博客:http://blog.csdn.NET/program_think/archive/2009/05/31/4229773.aspx 今天来介绍一下“Protocol Buffe ...

  2. 微软分布式云计算框架Orleans(2):容灾与集群(1)

    在上一篇:微软分布式云计算框架Orleans(1):Hello World,我们大概了解了Orleans如何运用,当然上一篇的例子可以说是简单且无效的,因为用了Orleans不可能只写一个Hello ...

  3. 包建强的培训课程(3):App竞品技术分析

    @import url(http://i.cnblogs.com/Load.ashx?type=style&file=SyntaxHighlighter.css);@import url(/c ...

  4. [干货]2017已来,最全面试总结——这些Android面试题你一定需要

        地址.http://blog.csdn.net/xhmj12/article/details/54730883 相关阅读: 吊炸天!74款APP完整源码! [干货精品,值得收藏]超全的一线互联 ...

  5. 从数据仓库双集群系统模式探讨,看GaussDB(DWS)的容灾设计

    摘要:本文主要是探讨OLAP关系型数据库框架的数据仓库平台如何设计双集群系统,即增强系统高可用的保障水准,然后讨论一下GaussDB(DWS)的容灾应该如何设计. 当前社会.企业运行当中,大数据分析. ...

  6. 华为云计算IE面试笔记-请描述华为容灾解决方案全景图,并解释双活数据中心需要从哪些角度着手考虑双活设计

    容灾全景图: 按照距离划分:分为本地容灾 同城容灾 异地容灾  本地容灾包括本地高可用和本地主备.(本数据中心的两机房.机柜) 本地高可用这个方案为了保持业务的连续性,从两个层面来考虑: ①一个是从主 ...

  7. 【虚拟化实战】容灾设计之一VR vs SRM

    作者:范军 (Frank Fan) 新浪微博:@frankfan7 从本文开始,我们将介绍一系列的关于容灾的解决方案.先探讨应用的场景,然后再深入介绍技术架构. 情景一: 某小型公司的虚拟化环境中,在 ...

  8. 【虚拟化实战】容灾设计之三Stretched Cluster

    作者:范军 (Frank Fan) 新浪微博:@frankfan7 Stretched Cluster是一把双刃剑,会用的如行云流水,用不好反而受其限制. 传统的vSphere Cluster是指一个 ...

  9. QQ 相册后台存储架构重构与跨 IDC 容灾实践

    欢迎大家前往云加社区,获取更多腾讯海量技术实践干货哦~ 作者简介:xianmau,2015 年加入腾讯 TEG 架构平台部,一直负责 QQ 相册平台的维护和建设,主导相册上传架构重构和容灾优化等工作. ...

随机推荐

  1. Html中自定义鼠标的形状

    Html中自定义鼠标的形状 <html> <head> <title>自定义的鼠标形状</title> <meta http-equiv=&quo ...

  2. PowerShell Notes

    1.  概要 - PowerShell 是cmdlet(command-let)的指令集合,类似unix的bash. - IDE: Windows PowerShell ISE,不区分大小写,可以用命 ...

  3. python标准模块(os及sys模块)

    一.os模块 用于提供系统级别的操作 os.getcwd() 获取当前工作目录 os.stat('path/filename') 获取文件/目录信息,其中包括文件大小等 os.sep 获得操作系统特定 ...

  4. 获取exr图片上像素点的颜色通道

    google了好久,都没找到合适的方法,还是自己撸一串吧. import OpenEXR, Imath, array def get_channel(exr_file,pixel_pos,channe ...

  5. 高程(4):执行环境、作用域、上下文执行过程、垃圾收集、try...catch...

    高程三 4.2.4.3 一.执行环境 1.全局执行环境是最外层的执行环境. 2.每个函数都有自己的执行环境,执行函数时,函数环境就会被推入一个当前环境栈中,执行完毕,栈将其环境弹出,把控制器返回给之前 ...

  6. 悲剧啊!Mysql的上古BUG!!!

    导读 这是MySQL8.0修复的上古bug之一,在2003年由Percona的CEO(当时应该还没Percona吧)提出的bug#199,光看这bug号就扑面而来一股上古时代的沧桑气息. 问题的本质在 ...

  7. 元素堆叠问题、z-index、position

    多次在项目中遇到html页面元素的非期待重叠错误,多数还是position定位情况下z-index的问题.其实每次解决类似问题思路大致都是一样的,说到底还是对z-index的理解比较模糊,可以解决问题 ...

  8. fastcgi与cgi的区别

    fastcgi与cgi的区别 先讲下cgi:cgi在2000年或更早的时候用得比较多, 以前web服务器一般只处理静态的请求,如果碰到一个动态请求怎么办呢?web服务器会根据这次请求的内容,然后会fo ...

  9. powershell使用

    主要语法点: -match -notmatch -replace -join -split -and -or -xor -not ! +.-.*./.% =.+=.-=.*=./=.%= -eq.-n ...

  10. 3 Git服务器搭建

    1. 环境部署 系统环境:服务器端:CentOS 6.5 ,ip:192.168.56.1 客户端:CentOS 6.5 ,ip:192.168.56.101 软件版本:服务器端:源码编译安装,git ...