性能瓶颈之Source
数据源的瓶颈通常发生从数据库读取数据的时候,原因通常如下:
		  1) 脚本的查询效率低下
		  2) 数据库网络包太小
如何判定源瓶颈
		  通过在session log中读取thread statistics判定源的瓶颈
		  如果read thread花费的时间大大多于write thread和transformation thread,则可说明性能瓶颈在于目标数据库
如果session是从源文件读取数据,则性能瓶颈可能不在源
如果session是从关系型数据库读取数据的,可通过如下方法判断源的瓶颈
    使用filter组件
				      在每一个source qualifier组件后追加一个filter组件,将条件设为false(如1=2)确保没有数据通过
				      如果session运行的时间还是没有变化,则可判定瓶颈在源
    创建测试用的read mapping
				      创建测试用的read mapping,并将查询与其他组件隔离,创建步骤如下:
					        1) 将原来mapping复制
					        2) 在复制的mapping里,只保留sources, source qualifiers和任何其他custom joins或queries组件
					        3) 移除所有中间数据转换处理的组件
					        4) 将source qualifiers组件连接至目标文件
				      如果session运行的时间还是没有变化,则可判定瓶颈在源
    使用数据库查询
				      直接在数据库端运行查询脚本
				      如果脚本运行的时间很长,则可判定瓶颈在于源的查询脚本
如何解决源的性能
		  1) 当Integration Service从文件读取数据,可设定读取每行数据时的最大字节数
		  2) 让DBA优化查询脚本
		  3) 增加数据库网络包大小
		  4) 追加索引和约束
		  5) 如果一个数据库查询在两个时间测量之间有很长的延迟,可以考虑使用优化器(optimizer hint)
性能瓶颈之Source的更多相关文章
- Informatica
		安装 相关专题 关于Bulk加载模式 性能调优 性能瓶颈 性能瓶颈概览 性能瓶颈之Target 性能瓶颈之Source 性能瓶颈之Mapping 性能瓶颈之Session 性能瓶颈之System 性能 ... 
- 使用Visual Studio 寻找App性能瓶颈
		使用Visual Studio 寻找App性能瓶颈 最后更新日期:2014-05-05 阅读前提: 环境:Windows 8.1 64bit英文版,Visual Studio 2013 专业版Upda ... 
- 使用XHProf查找PHP性能瓶颈
		XHProf是facebook 开发的一个测试php性能的扩展,本文记录了在PHP应用中使用XHProf对PHP进行性能优化,查找性能瓶颈的方法. 一.安装Xhprof扩展 //github上下载ht ... 
- 性能瓶颈之System
		如果Source,Target,Mapping和Session都不存在性能上的瓶颈,则问题可能会出在System 因为Integration Service运行时,它使用了System的资源去运行组件 ... 
- 性能瓶颈之Session
		如果Source,Target和Mapping都不存在性能上的瓶颈,则问题可能会出在Session 以下问题可导致Session有性能上的瓶颈 1) 缓存小 2) 缓冲内存小 3) commit提交间 ... 
- 性能瓶颈之Mapping
		如果Source和Target都不存在性能上的瓶颈,则问题可能会出在Mapping 如何判定Mapping存在性能瓶颈 1) 在session log中读取thread statistics和wor ... 
- 通过 Java 线程堆栈进行性能瓶颈分析
		改善性能意味着用更少的资源做更多的事情.为了利用并发来提高系统性能,我们需要更有效的利用现有的处理器资源,这意味着我们期望使 CPU 尽可能出于忙碌状态(当然,并不是让 CPU 周期出于应付无用计算, ... 
- 通过Java 线程堆栈进行性能瓶颈分析
		改善性能意味着用更少的资源做更多的事情.为了利用并发来提高系统性能,我们需要更有效的利用现有的处理器资源,这意味着我们期望使 CPU 尽可能出于忙碌状态(当然,并不是让 CPU 周期出于应付无用计算, ... 
- php:使用XHProf查找PHP性能瓶颈
		https://www.cnblogs.com/casatwy/archive/2013/01/17/2865241.html XHProf是facebook 开发的一个测试php性能的扩展,本文记录 ... 
随机推荐
- [Jenkins Git] 在Jenkins上拉代码总是失败,跑去本地看,提示输入用户名和密码,但是Jenkins上已经配置了正确的用户名和密码
			git config --global credential.helper manager 
- 安卓学习第一节--环境搭建及Android Studio 安装
			1.安装JDK 2.安装AS 安装参考网址 https://www.cnblogs.com/xiadewang/p/7820377.html 下载网址: http://www.android-stud ... 
- mysql 1055
			在 /etc/my.cnf 文件里加上如下: sql_mode=NO_ENGINE_SUBSTITUTION 
- 从阿里巴巴面试题到java类加载机制
			首先很经典的阿里巴巴面试题 加上我自己的一些疑惑代码 public class Text { public static int k = 0; public final int k1 = 3; //自 ... 
- Aspose.Words提示The document appears to be corrupted and cannot be loaded.
			https://download.csdn.net/download/tomeatbj163/10428046 
- AspNetCore中的IdentityServer4客户端认证模式实现
			1 AuthorizationServer using IdentityServer4; using IdentityServer4.Models; public class Startup { pu ... 
- 字符串、数组、对象常用API
			常用的字符串API 1.常见方法和属性 length 属性,获取字符串的字符数量 charAt(i) 返回给定位置的字符 charCodeAt( ) 返回给定位置的字符的字符编码 <scrip ... 
- springsecurity 源码解读 之 RememberMeAuthenticationFilter
			RememberMeAuthenticationFilter 的作用很简单,就是用于当session 过期后,系统自动通过读取cookie 让系统自动登录. 我们来看看Springsecurity的过 ... 
- 非交互式一句话添加root用户
			useradd -p `openssl passwd -1 -salt ‘lsof’ admin123` -u 0 -o -g root -G root -s /bin/bash -d /usr/bi ... 
- appium selenium.common.exceptions.WebDriverException: Message: Parameters were incorrect
			selenium.common.exceptions.WebDriverException: Message: Parameters were incorrect. We wanted {" ... 
