Volume Shadow Copy Service(VSS)如何工作
VSS卷影拷贝服务其实不是一项新技术了,在2003年前后发布的Windows 2003和Windows XP SP1都提供了对VSS的支持。最近几年微软的一线产品对VSS支持的越来越多,包括Exchange,SQL,AD,DPM等等。在Windows 2008中甚至系统的自带的备份工具也换成了VSS版本的。查一查VSS的资料,发现名词不少,snapshot、writer、requestor等等。这几天翻阅了一些资料,仔细阅读了几遍,终于拨云见日,理清了头绪。
VSS解决的问题
任何一个新东西和新技术的出现总是为了解决现有的问题。在IT领域,很多的资源被放在对各个系统的备份和恢复上。为了99.9XXX%中那n个9,每多一个9都要付出巨大的代价。
在备份领域,传统的备份方案一般有全备份,增量备份和差量备份等。我觉得主要的问题有:
- 增量和差量需要备份软件支持,备份程序需要对被备份的数据有足够了解,备份程序和应用程序协作保证数据的恢复完整一致性,工作量比较大。比如Exchange的数据库,Exchange自己要暴露出API接口,供NTBackup之类的应用程序调用。
- 备份和恢复的时间漫长。每次做全备都需要若干小时。恢复差量和增量的数据的时候,要先恢复全备份再恢复增量、差量的数据。步骤冗长,容易出错。
- 缺乏与硬件的紧密结合。很多存储的硬件都有snapshot的方案,但是这些硬件是做卷级别的镜像,和应用无关,做出来的东西也不能保证在应用级别是完整的。
VSS的出现,就是为了解决这些问题。
卷影的方法分类
- Clone (Full Copy/Split Mirror)全拷贝、镜像拷贝。可以通过软件或者硬件的方式做源卷和目标卷的同步。在同步连接切断之前2边的数据是一致的,在同步连接中断之后目标卷的数据和源数据保持独立,并且是只读的。
- Copy-on-Write (Differential Copy)差量拷贝。这种方法也可以用软件或者硬件的方法实现。当有写操作发生在需要被复制的卷时,被写的那个block会先被复制到另一个存放差量数据地方,同时这个操作会被索引和记录下来。使用源卷里数据和差量数据,这样在逻辑上我们就有一个在之前某个时间点的源卷。这种方法的好处是额外需要的存储空间小,缺点是
- 对源卷有额外的读写操作。
- 在做数据恢复的时候源卷的数据必须还在。
基于以上这2种最底层的卷影的方法,可以实现多种基于软件和硬件的备份应用和方案。微软的应用方案有:
- Data Protection Manager(DPM)
- Windows Backup Service(in Windows 2008)
VSS服务架构
组件
描述
Volume Shadow Copy Service
核心服务,和各个其他组件交互。
Requestor
提出开始做卷影复制的程序,一般是备份程序。
Writer
首先他是应用程序的一部分,用以确保在做卷影复制的时候应用层面的数据是完整一致的。数据库级别的应用一般会有自己的Writer,比如Exchange,SQL,AD等。
Provider
创建和维护卷影复制的组件。可以是操作系统、硬件或者软件自己实现。
Source volume
含有需要被备份的数据卷。
Storage volume
为provider提供存放copy-on-write文件的数据卷
卷影复制的组件
Requestors: 发起卷影复制的程序,一般是备份程序。
Writers: 防止数据不一致,不完整。
- 当备份的应用发起备份请求的时候,系统的VSS服务把这个消息通知给各个writer。Writer在收到这个消息之后,开始为备份做准备,以确保硬盘上的数据的一致性。比如Exchange的writer,会把内存的buff写回到硬盘里,确保硬盘上的数据库和log是完整的。
- Writer也提供其他一些信息,比如应用的名字、图标、包含和排除的文件、恢复策略等等。
- Writer和一个或者多个组件相关联。一个组件是一群文件的集合。比如,Exchange的文件集合包括数据库文件和日志文件等等。这些文件集合是一个整体,必须被同时备份和同时恢复。Writer也提供有关如何按组件恢复数据的信息。
- 如果一个应用没有提供writer,那么只有硬盘上的数据被备份,而内存里面的cache等数据会丢失。这样恢复出来的数据类似于机器突然断电的状态,数据有可能会不一致。相对于非VSS的备份方法,VSS的好处是即使文件正在被打开也可以备份。传统的备份方法被打开的文件是无法再次被备份程序读打开的。
- 在这种设计下,维护数据一致性的工作被从备份程序转移到了应用程序,而应用程序的开发人员对应用程序的数据更加了解,他们知道如何编写Writer来优化卷影复制。
Providers:用以创建和维护卷影复制。主要有三类实现:
- 硬件实现
- 软件实现
- 操作系统实现。Windows 2003自带了一个基于软件的Provider。
卷影复制创建流程
- Requestor,一般是备份程序,要求VSS枚举writers和他们的metadata,为卷影复制做准备工作。
- Writer创建一个XML的备份组件的描述,并定义他们如何被恢复。VSS通知应用程序的Writer为卷影复制做准备。
- Writer开始做准备,比如把内存中的内容写到数据库,把日志中的内容写到数据库等等。做完之后通知VSS。
- VSS发起commit。
- VSS把writer和requestor暂停写操作几秒种,以用来创建一个卷影复制。这个时间不能超过60秒。在此期间,VSS把文件系统在内存中的buff写到硬盘以确保硬盘中文件的一致性。
- VSS告诉requestor花最多10秒的时间来创建卷影复制。
- VSS解冻文件系统。当卷影复制创建好之后,VSS释放处于未激活状态的writer,所有在队列中的读写IO操作被完成。
- VSS确认在卷影复制被创建过程中的IO是成功的,如果失败的话意味着卷影复制是不一致的,VSS通知requestor并且删除卷影复制。Requestor可以选择重试或者通知管理员等操作。
- VSS开始复制卷影复制的数据,在复制完成之后把位置信息返回给Requestor。这一步才是耗时最长的备份数据的过程。
参考资料
How Volume Shadow Copy Service Works
Volume Shadow Copy Service(VSS)如何工作的更多相关文章
- 关于VSS(Volume Shadow Copy Service)一
在开发windows VSS应用程序时 我们应该先下载相关SDK,微软描述如下 When developing your own VSS application, you should observe ...
- Unity Shader-GodRay,体积光(BillBoard,Volume Shadow,Raidal Blur,Ray-Marching)
好久没有更新博客了,经历了不少事情,好在最近回归了一点正轨,决定继续Unity Shader的学习之路.作为回归的第一篇,来玩一个比较酷炫的效果(当然废话也比较多),一般称之为GodRay(圣光),也 ...
- Kubernetes里的Service是如何工作的
Service是Kubernetes接入层的一种抽象资源,它为我们提供了一种固定的.统一的访问接口地址和负载均衡能力,这时可能会想到,当时使用docker-compose的时候,不存在Service概 ...
- Web Service CXF的工作流程
我们一起走进系统的内部,跟随每一个调用,去透视系统的每一个层面. 一.我们定义整个目录都在CXFServlet的监控之下 <servlet> <servlet-name>CXF ...
- (vshadow)Volume Shadow在渗透测试中的利用
本文根据嘶吼学习总结出文中几种方式Vshadow包含在window SDK中,由微软签名. Vshadow包括执行脚本和调用支持卷影快照管理的命令的功能,这些功能可能会被滥用于特权级的防御规避,权限持 ...
- CentOS以及Oracle数据库发展历史及各版本新功能介绍, 便于构造环境时有个对应关系
CentOS版本历史 版本 CentOS版本号有两个部分,一个主要版本和一个次要版本,主要和次要版本号分别对应于RHEL的主要版本与更新包,CentOS采取从RHEL的源代码包来构建.例如CentOS ...
- Oracle数据库的版本变迁功能对比
Oracle数据库自发布至今,也经历了一个从不稳定到稳定,从功能简单至强大的过程.从第二版开始,Oracle的每一次版本变迁,都具有里程碑意义. 1979年的夏季,RSI(Oracle公司的前身,Re ...
- Windows下Oracle服务介绍
如图,截取的是11gR2下RAC其中一个节点的Oracle服务列表. oracle在处理一般事务时并不需要全部启动其后台的所有服务由于oracle服务所占用系统资源比较大,一般情况下,对于单实例的OR ...
- DG动态性能视图详解
V$LOG 显示CONTROLFILE记录的LOG FILE信息. 列名 描述 GROUP# 日志组号 THREAD# 日志线程号 SEQUENCE# ...
随机推荐
- 【python】python编码方式,chardet编码识别库
环境: python3.6 需求: 针对于打开一个文件,可以读取到文本的编码方式,根据默认的文件编码方式来获取文件,就不会出现乱码. 针对这种需求,python中有这个方式可以很好的解决: 解决策略: ...
- java.lang.ClassCastException: android.widget.RelativeLayout$LayoutParams cannot be cast to android.widget.AbsListView$LayoutParams
java.lang.ClassCastException: android.widget.RelativeLayout$LayoutParams cannot be cast to android.w ...
- Windows 同一时候开启核心显卡与独立显卡(不接显示器启动核芯显卡)
採用Mp4视频压缩格式编码时,非常耗CPU.所以决定上显卡.进行显卡加速.选择了Intel核心显卡进行视频编码加速,效果非常理想.但如今的问题是:在PC上如何同一时候开启核心显卡与独立显卡.经过几番周 ...
- python测试开发django-39.xadmin详情页面布局form_layout
前言 xadmin的详情页面默认是一行展示一个字段,可以使用form_layout对详情页面的布局重新设计. 可以设置必填和非必填字段,也可以设置不显示,不可以编辑的字段. models模块 先在mo ...
- 在websocket中怎么样注入service类
最近项目中用到了websocket,遇到很多问题,其中一个是@ServerEndpoint修饰的类无法注入其他的bean,注入的对象都是null,在网上找了好多资料,无意中发现一个朋友的答案给了思路. ...
- 唐顿庄园第一至五季/全集Downton Abbey迅雷下载
本季Downton Abbey 1(2010)看点:ITV古装剧剧<唐顿庄园>由曾因<高斯福德庄园>而荣获奥斯卡的金牌编剧Julian Fellowes一手打造,明星云集的演员 ...
- 抄袭证据之中的一个CMM与CMMI的名称
以下文字来自我即将完毕的文章,谢博士说她没有抄袭,可是文中实在是有太多的漏洞了. 6.2.7 P120页中: "实际上终于所谓的统一方法论就是标准,尽管作标准并非目的.但标准是必须有的.能够 ...
- centos7 开机启动管理
查看开机启动项 ls /etc/systemd/system/multi-user.target.wants/ 设置开机启动 systemctl enable mongodb.service
- [Web 前端 ] ES6 == ES 2015
cp from : https://www.cnblogs.com/ricoliu/p/5996149.html 遇到了一个困惑 原来称作es6的现在突然变成es2015 了 原因是这个事ecma ...
- Logstash中如何处理到ElasticSearch的数据映射
Logstash作为一个数据处理管道,提供了丰富的插件,能够从不同数据源获取用户数据,进行处理后发送给各种各样的后台.这中间,最关键的就是要对数据的类型就行定义或映射. 本文讨论的 ELK 版本为 5 ...