如果Source,Target,Mapping和Session都不存在性能上的瓶颈,则问题可能会出在System
因为Integration Service运行时,它使用了System的资源去运行组件,session,以及读写数据
也使用System内存资源为Aggregator, Joiner, Lookup, Sorter, XML和Rank等组件创建缓存文件

如何判定System的性能瓶颈
  使用Workflow Monitor
    可在运行session时,通过在Workflow Monitor查看CPU, 内存, 及分页情况
    CPU系统运行时的CPU使用率,包括运行其他task

    内存:
      系统运行时的内存使用率,包括运行其他task
      如果内存使用率接近95%,检测一下系统中运行的task是否都在Workflow Monitor,或者是否内存泄露
      可使用系统工具检测session运行前后的内存使用率的变化来判定问题是否出现在内存

    分页:
      分页表示可能的内存泄露,及大批的多任务并行处理

  使用系统工具
    Windows环境
      可以在Task Manager中通过查看属性了解系统情况
        Percent processor time:如果有多个CPU,请监视每个CPU的处理器时间百分比
        Pages/second:如果pages/second超过5,则可能存在过大的内存压力,称为"抖动"
        Physical disks percent time:物理磁盘忙于执行读或写请求的时间百分比
        Physical disks queue length:等待访问同一磁盘设备的用户数
        Server total bytes per second:服务器从网络发送及接收的总字节数

    Unix/Linux环境
      可使用如下工具查看系统情况
        top/iostat/vmstat/sar

如何解决System的性能瓶颈
  1) 如果CPU使用率超过80%,请检查并发运行任务的数量。考虑更改负载或使用网格将任务分发到不同的节点。如果无法减少负载,请考虑添加更多处理器
  2) 如果发生分页,请增加物理内存或减少磁盘上内存密集型应用程序的数量
  3) 如果内存压力过大(不稳定),请考虑添加更多物理内存
  4) 如果时间百分比较高,请调整PowerCenter的缓存以使用内存缓存,而不是写入磁盘
    如果优化缓存,则请求仍在队列中,并且磁盘忙百分比至少为50%,请添加另一个磁盘设备或升级到更快的磁盘设备
    还可为Session中的每个分区使用单独的磁盘
  5) 如果物理磁盘队列长度大于2,可考虑添加其他磁盘设备或升级磁盘设备
    还可为reader、writer和transformation线程配置使用不同的磁盘
  6) 可考虑提高网络带宽
  7) 在优化UNIX系统时,请为主要数据库系统优化服务器
  8) 如果I/O等待的时间所占比重很高,可考虑使用其他未充分利用磁盘
   例如,如果Source,Target,lookup,rank以及aggregate组件的缓存文件都在同一个磁盘上,可考虑将它们放在不同的磁盘上

返回Informtaica汇总

性能瓶颈之System的更多相关文章

  1. Informatica

    安装 相关专题 关于Bulk加载模式 性能调优 性能瓶颈 性能瓶颈概览 性能瓶颈之Target 性能瓶颈之Source 性能瓶颈之Mapping 性能瓶颈之Session 性能瓶颈之System 性能 ...

  2. 【转】怎样查出SQLServer的性能瓶颈

    怎样查出SQLServer的性能瓶颈 --王成辉翻译整理,转贴请注明出自微软BI开拓者[url]www.windbi.com[/url]--原帖地址 如果你曾经做了很长时间的DBA,那么你会了解到SQ ...

  3. Linux System and Performance Monitoring

    写在前面:本文是对OSCon09的<Linux System and Performance Monitoring>一文的学习笔记,主要内容是总结了其中的要点,以及加上了笔者自己的一些理解 ...

  4. 读Avoiding the Disk Bottleneck in the Data Domain Deduplication File System

    最近在思考和实践怎样应用重复数据删除技术到云存储服务中.找了些论文来读,其中<Avoiding the Disk Bottleneck in the Data Domain Deduplicat ...

  5. Linux System Log Collection、Log Integration、Log Analysis System Building Learning

    目录 . 为什么要构建日志系统 . 通用日志系统的总体架构 . 日志系统的元数据来源:data source . 日志系统的子安全域日志收集系统:client Agent . 日志系统的中心日志整合系 ...

  6. 怎样查出SQLServer的性能瓶颈

    怎样查出SQLServer的性能瓶颈 --王成辉翻译整理,转贴请注明出自微软BI开拓者[url]www.windbi.com[/url]--原帖地址 如果你曾经做了很长时间的DBA,那么你会了解到SQ ...

  7. 【原创】构建高性能ASP.NET站点 第六章—性能瓶颈诊断与初步调优(下前篇)—简单的优化措施

    原文:[原创]构建高性能ASP.NET站点 第六章-性能瓶颈诊断与初步调优(下前篇)-简单的优化措施 构建高性能ASP.NET站点 第六章—性能瓶颈诊断与初步调优(下前篇)—简单的优化措施 前言:本篇 ...

  8. Shell脚本查看linux系统性能瓶颈(转)

    Shell脚本查看linux系统性能瓶颈(转自:http://blog.51cto.com/lizhenliang/1687612) [root@test ~]# cat show_sys_info. ...

  9. Anatomy of a Database System学习笔记 - 查询

    查询解析 解析会生成一个查询的内部展示.格式检查包含在解析过程中. 每次解析一个SELECT,步骤如下:1. 从FROM里找到表名,转换成schema.tablename.这一步需要调用目录管理器ca ...

随机推荐

  1. java 判断null和空

    判断null和空 org.apache.commons.lang3 if(StringUtils.isBlank(valuationMeasureUnitName)){ }

  2. mysql导出导入数据

    使用sql语句导出数据: 导出时如果不写绝对路径,会提示The MySQL server is running with the --secure-file-priv option so it can ...

  3. 服务管理之mysql基础

    目录 mysql基础 1. 关系型数据库介绍 1.1 数据结构模型 1.2 RDBMS专业名词 2. mysql安装与配置 2.1 mysql安装 2.2 mysql配置 3. mysql的程序组成 ...

  4. paxos made more simple

    paxos算法是进入分布式领域的一块基石,有关paxos的讨论有很多精彩的详细论述,很多牛人不惜宝贵时间以大幅详尽段落叙述.感谢他们,paxos more simple 理解paxos前,我建议以面到 ...

  5. Appium+Python自动化 1 环境搭建(适用windows系统-Android移动端自动化)

    一.安装并配置 java jdk ①下载 java jdk后 安装,安装完成后,配置环境变量 打开计算机->系统属性->高级系统设置->环境变量->新建(系统变量),如图所示: ...

  6. requests+正则爬取猫眼电影前100

    最近复习功课,日常码农生活. import requests from requests.exceptions import RequestException import re import jso ...

  7. php7 三元运算 精简

    $abc = isset($_GET['name'])?$_GET['name']:'abc'; // 5.+ $abcd = $_GET[

  8. Win7 VS2017编译PBR渲染引擎google filament

    按照官方说明 https://github.com/google/filament 前置工具包 Windows 10 SDKVisual Studio 2017Clang 6Python 3.7Git ...

  9. 浅谈Spring中的IOC容器

    一.IOC.DI基本概念 IoC(Inversion of Control)控制反转指的是把对象的创建,初始化,销毁等工作交给容器来做.由容器控制对象的生命周期(传统方式中是由我们程序员主动创建对象. ...

  10. numpy 与 matplotlib 的应用

    numpy 与 matplotlib 的应用 一.库函数介绍 1. numpy库 NumPy(Numeric Python)提供了一个N维的数组类型ndarray,Numpy底层使用C语言编写,内部解 ...