在SSIS的Package Property中有CheckPoints的属性目录,CheckPoint是SSIS的Failover Feature.通过简单的配置CheckPoint,能够在Package执行失败时,不重复执行已经成功的Control Flow,只在最后出错点继续执行. 一,CheckPoint属性 开启Packge的CheckPoint机制,只需要配置Package的三个属性:CheckPointFileName,CheckpointUsage,SaveCheckpoint.…

当SSIS报错为:“无法在unicode和非unicode字符串数据类型之间转换”,可以考虑用数据转换器实现,很简单,如下图: 第一步,找到数据转换器: 第二步,编辑数据转换器: 第三步:编辑目标映射关系为“XXX 的副本”,即可. 错误排除,成功. 注:SSIS的数据连接管理器最好使用“SQL Server身份验证”,这样才可保证代理作业的正常执行,当然给Windows身份认证的帐号设定足够的权限也是可以的.…

1,ForcedExecutionResult 强制一个package或task执行的结果,共有四种值 None,Success,Failure,Completion,默认值是None,表示不强制返回值. 如果设置ForcedExecutionResult=Success,不管package执行过程中是否出现异常,package执行的结果都是Success. The default value of this property is None, which indicates that the…

以数据流的方式来设计Package,将核心数据处理移动到数据流中,一般情况下,能够减少临时表的创建,获得较高的处理性能,在某些情况下,使用暂存表(staging table)能够优化package设计. 1,使用基于集合的更新操作 在大型系统中,数据更新通常是系统的bottleneck,因为SSIS不能在Data Flow 中执行基于集合的更新.在Data Flow中,OLEDB Command 转换组件是逐行对数据进行更新的,对每一行数据执行更新操作,会导致低下的性能.对于存在大量更新的数据流…

HashBytes 使用Hash 算法,能够产生高质量的Hash值,大幅度提高识别数据相异的准确性,但是HashBytes函数无法提供100%的准确度,如果业务逻辑要求不允许有误差,那么不要使用任何Hash 函数,只要是Hash函数,就会存在冲突.HashBytes 函数对于相同的文本,有时会产生不同的hash value. When an MD5 hash algorithm is specified, the probability of HashBytes returning the sa…

SSIS 设计系列: Package设计1:选择数据类型.暂存数据和并发 Package设计2:增量更新 Package 设计3:数据源的提取和使用暂存 在使用SSIS Package处理海量数据时,必须精心设计Package的各个Task组件,“锱铢必较”,以最快的速度和最小的资源消耗,完成既定的数据处理任务.在处理数据源提取时,数据的大小由两个方面决定:数据行的宽度和数据行的数量,为了减少ETL运行的时间,可以从源数据的提取上做优化设计,从数据源的输入上控制数据的数量和大小,以减少数据转换的…

今天学习SSISParameter的用法,记录学习的过程. Parameters能够在Project Deployment Model下使用,不能在Package Deployment Model使用.在Package Deployment Model下,使用Package Configurations来传递属性值:在Project Deployment Model下,使用Parameters来传递值. 1,Parameters and Package Deployment Model In g…

Execute Sql Task组件是一个非常有用的Control Flow Task,可以直接执行SQL语句,例如,可以执行数据更新命令(update,delete,insert),也可以执行select查询语句,返回结果集,结果集可以是一行,也可以是多行. 一,General 选项卡 1,返回结果集(Result Set) None:表示不返回结果,在执行Update,delete或insert命令时,使用该选项: Single row:返回单行结果,可以在Result Set 选项卡中,将…

使用SSIS做ETL的过程中会遇到各种各样的错误,对于一些大数据量的Job失败以后我们不希望重新运行,因为重新运行的时间开销是非常大的,我们只希望从失败的部分开始运行,这样可以省去很多的时间. SSIS提供了Checkpoints的功能,可以捕获检查点文件中的重新启动点.失败的容器类型以及功能(例如事务)的实现都会影响在检查点文件中所记录的重新启动点.检查点文件中还捕获变量的当前值. 创建SSIS的时候需要制定 checkpoint文件目录,checkpoint的信息会被保存到这个xml文件.当…

使用SSIS做ETL的过程中会遇到各种各样的错误,对于一些大数据量的Job失败以后我们不希望重新运行,因为重新运行的时间开销是非常大的,我们只希望从失败的部分开始运行,这样可以省去很多的时间. SSIS提供了Checkpoints的功能,可以捕获检查点文件中的重新启动点.失败的容器类型以及功能(例如事务)的实现都会影响在检查点文件中所记录的重新启动点.检查点文件中还捕获变量的当前值. 创建SSIS的时候需要制定 checkpoint文件目录,checkpoint的信息会被保存到这个xml文件.当…