Data Flow ->> Slow Changing Dimension

这里简单讲下SCD

在讲之前贴上两个有用的链接地址。作者的两篇文件讲解了SCD是什么以及应用

http://www.cnblogs.com/biwork/p/3363749.html

http://www.cnblogs.com/biwork/p/3371338.html

Slow Changing Dimension翻译过来就叫缓慢渐变维度。它被应用于数据仓库中对维度表数据的加载。因为数据总是在不断增长和变化的，在第一次完全加载数据后需要处理增量加载数据的处理场景，以及数据是否需要保留历史数据的问题。Slow Changing Dimension必须满足这些技术层面的问题。SSIS中有一个叫Slow Changing Dimension的组件，但是它的实现功能其实是可以有其他的方法来替代的。SCD的三种常见的类型参考：http://www.cnblogs.com/biwork/p/3363749.html。其实就是：只更新保留一条记录、保留过往的历史记录（通过时间字段或者标签字段来标示有效行）、只保留当前行和”最新的旧行“。

替代Slow Changing Dimension组件的方法：

1）纯T-SQL的MERGE方法来实现

2）在 SSIS 中使用 Lookup, Conditional Split, Multicast 等控件实现 SCD 效果（其中的Lookup也可以用Merge组件来代替，只是要提前对数据进行排序）

为什么要替代Slow Changing Dimension组件？

Slow Changing Dimension组件不管是与查找表（Lookup table）的键匹配，还是后面需要用到OLE Command来更新Change Attitude分支的输出行、Insert到destination table也不是fast load（因为insert和update存在锁冲突，所以都是逐行逐行插入的）。由此可以性能上Slow Changing Dimension组件在处理数据集大的情况下肯定不佳或者说不及其他两种方法。（来自Professional Microsoft SQL Server 2012 Integration Services）