好几年前写了一篇<SSIS利用Microsoft Connector for Oracle by Attunity组件进行ETL!>,IT技术真是日新月异,这种方式对于新的SQL SERVER 数据库版本已不适用了,比如SQL SERVER 2016 的SSIS不需要安装任何插件就可以抽取SharePoint 列表数据了,主要利用OData源实现读取SharePoint列表数据,比如需要抽取SharePoint test列表数据,具体如下: 该test列表数据有文件夹和项目,但实际只要抽取项目

最近接手一个项目,程序的基本框架是:程序A导出数据,以.tsv格式存储,数据列之间以tab间隔:程序B吃文档,把数据导入到数据库中,并把处理过的文档备份/移动到指定的目录中.为了快速开发,程序B设计成SSIS的Package,本文主要分享Package的设计思路,组件用法和注意事项.在设计Package时,使用Foreach Loop Container组件遍历Folder中存储的.tsv文档,通过平面文件源读取遍历的tsv文件,通过Expression Task组件获得该文件的备份路径,通过F

程序说明 此SSIS的目标是生成如下的文本文件 此文件的列由TAB键分割,可以使用notepad++来查看 这样就能够看清TAB键了 文件由%H%表示头部和%D%表示的细节部分 以下为程序开发使用的VS信息 使用的数据库是 Microsoft SQL Server 2017 (RTM-CU21) 程序配置介绍: 修改数据库连接字符串 修改文件生成路径 首先打开变量面板 修改变量v_fileFolder的值为你的文件生成路径,注意末尾不要加\符号 执行完成后将在会出现一个数据库SSIS_Proje

起因: 首先看问题截图Figure 1,在术语驱动的页面中设置更改此术语的目标页面,会被警告“该URL 不指向某个页面”,原因是我所找到的这个目标页面是一个非aspx结尾的URL链接. Figure 1无法更改此术语的目标页面 而整个需要添加目标页面的目标里面是看不到相应的aspx文件的,Figure 2中所展示的三个红框明确了对应的位置,可是在我的根网站集下面看到的并不是aspx结尾的可供选择的资产,但是习惯了点击设置,却怎么也点不出来根网站集下面的资产. Figure 2看不到任何aspx文

转自http://www.cnblogs.com/biwork/p/3328838.html 在 SSIS Data Flow 中有一个 Multicast 组件,它的作用和 Merge, Merge Join 或者 Union All 等合并数据流组件对比起来作用正好相反,非常直观,它可以将一个数据流平行分开成为多个数据流供下游其它 Data Flow 组件使用. 首先描述一下使用 Multicast Task 的几种情形  - 第一种,从同一个数据源中取出一部分数据直接放到 A 表中,一部分

开篇介绍 在 SSIS Data Flow 中有一个 Multicast 组件,它的作用和 Merge, Merge Join 或者 Union All 等合并数据流组件对比起来作用正好相反.非常直观,它可以将一个数据流平行分开成为多个数据流供下游其它 Data Flow 组件使用. 使用 Multicast Task 的几种情形 第一种,从同一个数据源中取出一部分数据直接放到 A 表中,一部分数据直接放到 B 表中.我曾经遇到一个370多列的一个文件,这370列的文件可以分出列数不等的7,8

C#调用SSIS包需要引用两个DLL .(具体位置在C盘搜索,MSDN和百度提供的路径都不太正确) Microsoft.SQLServer.ManagedDTS.dll Microsoft.SqlServer.Dts.DtsClient.dll    这是MSDN上的例子 https://msdn.microsoft.com/zh-cn/library/ms136025%28v=sql.120%29.aspx MSDN上的例子只有读取一个DataReader的做法,并且该方法不能加事件. 下面是

[公告]本博客于2015年10月起不再更新 新博客文章主要发表在商业智能BI社区: http://www.flybi.net/blog/biwork 博客地图自动分类 文章目录方便更好的导航,阅读文章. 分享与下载 微软产品下载大全(操作系统,SQL SERVER,Office)http://www.itellyou.cn/ 微软示例数据库下载  Microsoft Demo Database Download 微软 DEMO  下载     Microsoft Demo Download SQ

微软 BI ETL 架构设计 如何在 ETL 项目中统一管理上百个 SSIS 包的日志和包配置框架 如何管理和记录 SSIS 各个 Task 的开始执行时间和结束时间以及 Task 中添加|删除|修改的记录数 微软 BI SSIS 系列 微软BI 之SSIS 系列 - 在 SSIS 中读取 SharePoint List 微软BI 之SSIS 系列 - 利用 SSIS 模板快速开发 SSIS Package 微软BI 之SSIS 系列 - Lookup 组件的使用与它的几种缓存模式 - Full

前言 由于工作的原因,有一段时间没有发新的随笔了,最近使用了SharePoint PerformancePoint做了一些报表,与大家分享经验. 本文完全原创,转载请说明出处,希望对大家有用. 阅读目录 开发环境 BI目标 BI实施 总结 内容 开发环境 操作系统:Windows Server 2008R2 数据库:SQL Server 2008R2 SharePoint Server 2010 BI目标 需求: 根据销售数据显示所选年份的月销售额 根据销售数据显示所选年份销售额前十的供应商 根

VisualStudio 2013创建控制台项目,.NetFramework选为4.5.生成目标平台:x64.然后添加对Microsoft.SharePoint.dll的引用. 生成项目时,"错误列表"报告了如下警告: 发现同一依赖程序集的不同版本间存在冲突.请将项目文件中的"AutoGenerateBindingRedirects"属性设置为 true.有关详细信息,请参阅 http://go.microsoft.com/fwlink/?LinkId=294190

众所周知,SharePoint 2013没有像SharePoint 2010那样有一个叫"以其他身份登录"的菜单项. 当然解决方案也很多,比如你可以直接修改Welcome.ascx,也可以自己拼凑url. 本文主要是通过沙盒解决方案来解决,好处就是一旦创建好,将其打包成wsp文件,然后就可以随处用了. 如果不需要时,也可以通过停用feature来停用即可. 收下创建一个"SharePoint 2013 – 空项目",项目名按需取. 选择部署为沙盒解决方案. 右击新建

把沙盒解决方案上传到目标站点的"解决方案"库中,发现"激活"按钮是灰掉的,不可用. 首先,我想到的是权限不足,所以 "以管理员身份"启动IE,然后发现还是不能激活. 莫非是沙盒服务没启动?去查看:管理中心------系统设置-------管理服务器上的服务 果然是"Microsoft SharePoint Foundation Sandboxed Code Service"没有启动. 将其启动,然后就可以激活你的沙盒解决方案了

介绍 如果你已经开发完一个不错的SSIS包并且能够在你的本地完美的运行,每个任务都亮起绿色的通过标志.这时为了能够让这个包处理能够在指定时间运行,你需要将其发布到一个服务器上,并做好相关配置.作为开发人员可能我们不能直接在生产环境去做这个事情,这需要我们有一个开发或者测试环境来完成整个部署测试,因为DBA有时候不会允许你去直接访问生产环境. 本篇将介绍几种从本地到服务器的部署包的方法.SQLServer 2012中引入的项目部署模型不再重复记述了,因为SSIS2012的报部署模型也是用来相似的方

以数据流的方式来设计Package,将核心数据处理移动到数据流中,一般情况下,能够减少临时表的创建,获得较高的处理性能,在某些情况下,使用暂存表(staging table)能够优化package设计. 1,使用基于集合的更新操作 在大型系统中,数据更新通常是系统的bottleneck,因为SSIS不能在Data Flow 中执行基于集合的更新.在Data Flow中,OLEDB Command 转换组件是逐行对数据进行更新的,对每一行数据执行更新操作,会导致低下的性能.对于存在大量更新的数据流

对于SSIS的数据类型,容易遗漏精度的是DateTime,不正确的使用DateTime,time,decimal 等数据类型,可能导致溢出或数据丢失. 1,Variable 和 Parameter的DateTime Variable 和 Parameter的DateTime对应 DT_DBTIMESTAMP (对应SQL Server的Datatime),格式是:yyyy-MM-dd hh:mm:ss XM,例如 “2016-05-19 5:41:32 PM”,只精确到秒. 2,转换组件 由于转

Control Flow 和 Data Flow,是SSIS Design中主要用到的两个Tab,理解这两个Tab的作用,对设计更高效的package十分重要. 一,Control Flow 在Control Flow中,Task是最小的单元,Task通过Precedence Constraint来保持同步,在对后续Task进行处理之前,必须完成前面Task(成功,失败或者完成). 1,Control Flow 不能在组件之间传递数据,用于串行或并行执行任务,担当Task的调度者. 如果两个Ta

1,利用优先约束来并发处理数据,Data Flow Task 和 Data Flow Task 1 是并发执行的,而 Data Flow Task2 必须等到 Data Flow Task 和 Data Flow Task 1 执行完成之后,才开始执行. 2,如何从一个数据源表中并发处理数据,设计思路是 将一个表中的数据平均分成N份,各个数据流之间并发处理. 例如分为3份,可以使用%3,将数据分为三个子数据流并发处理数据. select * from dbo.SourceTable select

设计完善的导航可告诉您网站的用户大量有关网站所提供业务.产品和服务的信息.通过更新导航背后的分类法,可以推动业务并保持更新,而不必在过程中重新创建其网站导航.在 SharePoint 2013 中,可以使用托管导航功能来设计由托管元数据驱动的网站导航以及创建源自于托管导航结构的 SEO 友好 URL. 托管导航可以代替基于 SharePoint 结构的传统 SharePoint 导航功能(结构化导航).因为托管导航由分类驱动,所以您可以用它来设计围绕重要业务理念的网站导航,而无需更改网站或网站组

通过使用 PowerPoint Automation Services,可以从 PowerPoint 二进制文件格式 (.ppt) 和 PowerPoint Open XML 文件格式 (.pptx) 转换为其他格式.例如,您可能需要将一批 PowerPoint 97–2003 文件升级到 Open XML 演示文稿文件.您还可以在“编辑”菜单中创建自定义操作,以允许用户按需创建 PDF 版本的演示文稿. 一.效果演示: 1.新建一个ppt文档(office 2013,后缀pptx),添加内容,