SSIS Package的调试有时是一个非常艰难的过程,由于SSIS 编译器给出的错误信息,可能并不完善,需要程序员根据错误信息抽丝拨茧,寻找错误的根源,进而解决问题. 第一部分:SSIS提供的调试工具 1,SSIS Package的 Control Flow 通过醒目的图标显示task的执行情况 在执行package的时候,如果一个Task上显示绿色的勾,表示task执行正常,如果显示的是红色的X,表示task执行异常. 通常SSIS Package调试的第一步就是寻找出错的Task,然后进入…

原文:ssis package 在调试状态中设置断点,程序 不进入断点 的解决方案 针对 SSIS intergation 项目 > 属性 > Debug >Run64bITRuntime = False…

眼看就要端午节了,屌丝还在写代码,话说过节也不给轻松,折腾了一天终于解决了一个BUG,并完成了老板安排的求DEM坡度的任务,那么就分两段来表. 一.BUG调试 首先记录一天的BUG调试,简单copy了之前写好的代码(在前面几篇博客中已有介绍),然后添加了求坡度的代码,坡度代码暂且不表,然后满怀欣喜的上线,打开浏览器访问,以为节前的工作就可以告一段落了,谁知一天的辛苦就此拉开序幕——竟然空白一片,什么都没有,怎么会没有瓦片,难道数据没有导入,对spark集群各种检查,accumulo数据库检查,都…

效率最高的Excel数据导入---(c#调用SSIS Package将数据库数据导入到Excel文件中[附源代码下载])    本文目录: (一)背景 (二)数据库数据导入到Excel的方法比较   (三)SSIS的简介   (四)数据库中存储过程示例(SSIS应用需要) (五)Excel模板的制作(这步这么简单,稍微介绍一下)   (六)SSIS操作过程(生成Package,用来调用)(下一篇随笔将详细讲解制作Package包的过程,图片太多,篇幅过长,因此本文将直接采用生成的Package包…

开篇介绍 通常一个 ETL Package 是由多个控制流和数据流共同组成,有的时候 ETL 的步骤可能会比较多,整个流程执行下来的时间可能比较长.假设在 ETL Package 中包含5个Task,前3个Task执行超过1个小时,到了第4个Task的时候发生失败.如果下次执行的时候重新从第1个任务开始执行,那么又要花费1个小时等待 1-3 任务执行,无疑在效率上讲是非常低的.特别是在数据仓库的应用上,往往从数据源到Staging的过程中有千万级甚至亿级的数据要加载,加载完毕之后再进入到维度和事…

开篇介绍 在做 ETL 项目的时候,往往很多 Package 的开发都是基于相同的模型和流程.比如在 Package 开始运行时需要向 Process Log 表中插入记录,在 Package 运行结束的时候更新运行状态. 在错误处理阶段同一个项目中的所有 Package 也是相同的处理方式,除此之外还有设计到 Package 的配置还有一些参数和验证流程等等基本上都一致. 配置过程 如果每次开发一个 Package 都需要重新拖拉这些控件并配置连接管理器,配置 SQL 语句和参数,并且要保证配…

摘要:目前,著名的社区问答网站Quora上出现一个很火的讨论:你调试过最难的Bug是什么?大家纷纷留言,把自己最痛苦的一次调试经验写下来. 相信每位程序员都有过一段不堪回首地Bug调试经历,程序员一听到自己的程序有Bug,会有各种搞笑的反应,大家可以移步去看看“ 程序员遇到Bug后的30种常见反应 ”. 目前,著名的社区问答网站Quora上出现一个很火的讨论: What's the hardest bug you've debugged?很多程序员在下面留言,把自己最痛苦或者最难忘的Bug调试经…

There are two method to call .net DLL in SQLSERVER. The first one is to use the sql clr but it has a lot of limit. The second method is to use SSIS package to call the .net dll. Now I will show the process and the problem you may come accross with it…

原文 SSIS Package to Call Web Service SSIS Package to Call Web Service. You can Call WebService from SSIS package and transfers your data. First of all you have to create web service with function as  you needed to call. Step1 : Go To Microsoft Visual…

摘要: 在使用Agent Job时, 运行SSIS包的Run as账号,必须有SSIS中connection manager的连接权限. 如果没有连接权限,可以用创建proxy账号,并确保proxy账号有连接权限的方式来执行. 案例: 1. Package包中,用到了ODBC的方式连接到数据源,但是创建的ODBC是User DNS(仅对当前账号可用),而非System DNS(所有登录到改机的用户都可用,包括NT Services)      SSIS连接: 2. 创建的SSIS包,在项目中手工…

This information is from:http://blogs.msdn.com/b/dbrowne/archive/2010/07/08/how-to-configure-an-ssis-package-to-access-a-web-service-using-wcf.aspx When you are connecting to a web service from an SSIS Script component or transform using a WCF client…

在Package中声明一个variable,在package运行的过程中,SSIS如何update Variable? 第一种方法:使用 Script Task 来更新Variable的值 1,创建一个variable ,VariableName是VarCode,并将变量传递到脚本的ReadWriteVariables数组中. 2,在C#脚本中,SSIS提供两种方式访问变量,第一种方式比较简单,推荐使用. //读写变量 第一种方式 string VarName = this.Dts.Variab…

1 动态改变数据源 package从创建到调试到测试到生产环境,往往需要运行在不同的服务器上.我们可以定义Environment和Server两个变量,一个用于改变 Server,一个用于接收实际Server的值.运行于不同的环境时,只用改一个Environment变量的值,Server及数据库连接就会随之改 变. a. 定义Environment和Server变量 b.方法1:Server变量的EvaluateAsExpression设置为true,表达式填写为: @[User::Enviro…

Geotrellis系列文章链接地址http://www.cnblogs.com/shoufengwei/p/5619419.html 目录 前言 BUG还原 查找BUG 解决方案 总结 后记 一.前言        最近做一项实验,简单的说就是读取已经存入Accumulo中的瓦片,然后对瓦片进行简单的Map操作然后RenderPng生成瓦片,前台显示.看上去是个很简单的操作,但是中间一直存在一个问题,就是明明数据值范围在[0-10] (除了某些地方无值),但是处理完后某些地方会出现数值严重偏差…

以下是我对SSIS包进行code review的一些建议,如果有其他更好的方案欢迎拍砖. A. 查看是否使用了最优的解决方案 1． 最优的结构视图 2． 解决方案,包,任务,组建,参数的命名使用了易读的命名方式 3． 遵循了最优的设计,优化,调整方案 B. 配置 查看是否所有的配置已经成功,并且能够从外部和父包中获得正确的配置信息. C. 查看能否通过以下测试 1． 正常的场景 查看到所有的表数据/文件已经生成并且是正确的 查看所有的数据在表中没有被截断或有不需要的空格/字符 重新执行包,看是否…

遇到的问题: 在linux上安装php5.5.26.phalcon2.0扩展.xhprof扩展,均正常安装,并可单独运行.但放在一起运行时出现“Segmentation fault”错误.注:xhprof是从github上下载的最新版. 遇到问题时的上下文: 1: 新建项目,使用phalcon命令行工具 phalcon create-project store 2:修改入口文件,加入xhprof支持 3:web访问出现502,无任何php级别的错误日志 在终端下执行:php index.php…

背景 最近收到这样一个问题: Storm处理消息时会根据Topology生成一棵消息树,Storm如何跟踪每个消息.如何保证消息不丢失以及如何实现重发消息机制? 虽已回复,但心想还是看下storm这块的源码吧.那看静态多不爽啊,那总得调试吧,好吧,造个本地环境来调吧. 先看看maven的build过不过: mvn -f pom.xml clean install 搞定storm的编译打包,接着是storm-starter的编译打包,一切很顺利啊,跑一下看看: ${STORM_HOME}/bin/…

在ssis 包中使用FTP 实际上很简单, 直接拿一个FTP控制流(FTP 任务) ,配置一下FTP 服务器就可以了, 但是当我想在SQL Server Job 中使用这个功能时却报了个错(如下), An error occurred in the requested FTP operation. Detailed error description: The password was not allowed 意思就是密码错误, 可是我在 BIDS(Business intelligence d…

首先需要将SSIS Project check in 到 git 中, Teamcity 会到 git 上取到code, build, 然后publish 到指定的服务器上,比如:Dev, QA, STG, LIVE(Production)…

来自: http://www.cnblogs.com/sodacc/archive/2012/11/26/2789135.html 第一次用SQL给SSIS包排JOB的时候,都会遇到这样一个问题:单独执行包的时候都成功了,但是放在JOB里执行的时候会报错, 如果查看作业的历史记录的话,可看到大都是因为权限的问题, 这个问题大致有几个解决方法,无非都是将配置写在包中,这样就不会出现用sql Agent代理账户读取时没有权限的问题了, 现在给出一个我一直用的方式: 1.将SSIS切换到控制流页签,右…

简介:Anthem 是一个很好用的 Ajax 框架,支持 ASP.NET 1.1, 2.0.由于该框架的所有控件都继承自 ASP.NET 自身的服务器控件,保留了几乎所有这些控件的属性和行为(除了把它们的 PostBack 改为 CallBack 的无刷新调用之外).所以学习曲线很平缓. 今天我在使用 Anthem 的时候碰到了一个比较麻烦的调试问题,记录于此. 在下面的代码中,我用了一个 Anthem.Repeater 控件.         <asp:XmlDataSource ID="…

开发的程序在我的本地mac上,ubuntu上,以及树莓派上都成功实现了迁移和运行,但是当准备将运行好好地程序迁移到阿里云的服务器上的mysql数据库上时,出现了非常多的幺蛾子的问题. 具体如下: 初始化连接,执行python manage.py makemigrations; python manage.py migrate 生成部分表格(不全),报错.报错信息如下: Specified key was too long; max key length is 767 bytes 由于所有的报错信…

1,通过Integration Services Catalogs来查看 打开SSISDB->Projects,查看指定project的version history,这种方式查看Deployed Time 比较慢 2,查询SSISDB的表projects,查看最后一次部署的时间 select f.name as foler_name, --p.project_id, p.name as project_name, p.deployed_by_name, p.last_deployed_time…

1,使用SQL Server job 创建一个job用于执行package,可以制定一个schedule来定时执行job,也可以使用TSql 代码来执行job EXEC msdb.dbo.sp_start_job N'JOBNAME' msdb.dbo.sp_start_job 启动job,但是不等job运行完成,该stored procedure就立即返回,返回的结果标记job是否启动成功,可以通过msdb.dbo.sp_help_job 查看job的运行情况,示例代码如下 exec msdb…

…

1,现象 写的一个storm应用,主要是通过mysql的binlog来同步表到hbase.运行一段时间后发现,经常会出现cpu使用率飙升到200%以上,然后各种消息堆积报警等等出现各种问题 2,调研过程 cpu使用率很高,所以首先找到该进程,通过top命令,监控该进程的使用率,然后通过H,查看各个线程的cpu使用率情况,记下cpu使用率高的线程id,然后通过jstack pid,获取各个线程栈,听过top获取的线程id转化成16进制后,发现有问题的线程栈如下: 发现主要问题原来出现在HashMa…

在SSIS开发工具SQL Server Data Tools中提供了调试功能,可以让我们方便的跟踪参数赋值或者数据流条数.本文主要介绍了如何使用SSDT的调试功能. Part A: Script task 的调试 情景:在一个SSIS package中参数rating的默认值是0,我们假设在Scrit Taks中需要把rating值更改为10.   在Scripttask里面加入C#赋值代码,来把Rating 的值赋值为10. public void Main() { // TODO: Add…

简介 最近公司业务需要用到BI SSIS,SSIS是什么?"SSIS是Microsoft SQL Server Integration Services的简称,是生成高性能数据集成解决方案(包括数据仓库的提取.转换和加载 (ETL) 包)的平台. "SQL Server Integration Services (SSIS) 提供一系列支持业务应用程序开发的内置任务.容器.转换和数据适配器.您无需编写一行代码,就可以创建 SSIS 解决方案来使用 ETL 和商业智能解决复杂的业务问题,…

可以执行 SSIS Package ,证明用 SSIS Package 的账户是可以执行成功的.SQL Server Agent 默认指定账号是 Network Service. 那么可以尝试一下将 SQL Server Agent 和 SQL Server Integration Service 的启动账户都设置成同一个账户,这个账户一般也配置成本机的管理员账户.配置管理器中找到这两个账户 右键属性,然后将它们的启动账户都配置成管理员账户试试      …

原文:http://dataqueen.unlimitedviz.com/2012/01/ssis-2012-package-configurations-menu-option-missing/ I’m going to blog this in case anyone else has run into the same issue. I recently tried to create SSIS Package Configurations using SQL Server Data To…