如果Source,Target,Mapping和Session都不存在性能上的瓶颈,则问题可能会出在System
因为Integration Service运行时,它使用了System的资源去运行组件,session,以及读写数据
也使用System内存资源为Aggregator, Joiner, Lookup, Sorter, XML和Rank等组件创建缓存文件

如何判定System的性能瓶颈
  使用Workflow Monitor
    可在运行session时,通过在Workflow Monitor查看CPU, 内存, 及分页情况
    CPU系统运行时的CPU使用率,包括运行其他task

    内存:
      系统运行时的内存使用率,包括运行其他task
      如果内存使用率接近95%,检测一下系统中运行的task是否都在Workflow Monitor,或者是否内存泄露
      可使用系统工具检测session运行前后的内存使用率的变化来判定问题是否出现在内存

    分页:
      分页表示可能的内存泄露,及大批的多任务并行处理

  使用系统工具
    Windows环境
      可以在Task Manager中通过查看属性了解系统情况
        Percent processor time:如果有多个CPU,请监视每个CPU的处理器时间百分比
        Pages/second:如果pages/second超过5,则可能存在过大的内存压力,称为"抖动"
        Physical disks percent time:物理磁盘忙于执行读或写请求的时间百分比
        Physical disks queue length:等待访问同一磁盘设备的用户数
        Server total bytes per second:服务器从网络发送及接收的总字节数

    Unix/Linux环境
      可使用如下工具查看系统情况
        top/iostat/vmstat/sar

如何解决System的性能瓶颈
  1) 如果CPU使用率超过80%,请检查并发运行任务的数量。考虑更改负载或使用网格将任务分发到不同的节点。如果无法减少负载,请考虑添加更多处理器
  2) 如果发生分页,请增加物理内存或减少磁盘上内存密集型应用程序的数量
  3) 如果内存压力过大(不稳定),请考虑添加更多物理内存
  4) 如果时间百分比较高,请调整PowerCenter的缓存以使用内存缓存,而不是写入磁盘
    如果优化缓存,则请求仍在队列中,并且磁盘忙百分比至少为50%,请添加另一个磁盘设备或升级到更快的磁盘设备
    还可为Session中的每个分区使用单独的磁盘
  5) 如果物理磁盘队列长度大于2,可考虑添加其他磁盘设备或升级磁盘设备
    还可为reader、writer和transformation线程配置使用不同的磁盘
  6) 可考虑提高网络带宽
  7) 在优化UNIX系统时,请为主要数据库系统优化服务器
  8) 如果I/O等待的时间所占比重很高,可考虑使用其他未充分利用磁盘
   例如,如果Source,Target,lookup,rank以及aggregate组件的缓存文件都在同一个磁盘上,可考虑将它们放在不同的磁盘上

返回Informtaica汇总

性能瓶颈之System的更多相关文章

  1. Informatica

    安装 相关专题 关于Bulk加载模式 性能调优 性能瓶颈 性能瓶颈概览 性能瓶颈之Target 性能瓶颈之Source 性能瓶颈之Mapping 性能瓶颈之Session 性能瓶颈之System 性能 ...

  2. 【转】怎样查出SQLServer的性能瓶颈

    怎样查出SQLServer的性能瓶颈 --王成辉翻译整理,转贴请注明出自微软BI开拓者[url]www.windbi.com[/url]--原帖地址 如果你曾经做了很长时间的DBA,那么你会了解到SQ ...

  3. Linux System and Performance Monitoring

    写在前面:本文是对OSCon09的<Linux System and Performance Monitoring>一文的学习笔记,主要内容是总结了其中的要点,以及加上了笔者自己的一些理解 ...

  4. 读Avoiding the Disk Bottleneck in the Data Domain Deduplication File System

    最近在思考和实践怎样应用重复数据删除技术到云存储服务中.找了些论文来读,其中<Avoiding the Disk Bottleneck in the Data Domain Deduplicat ...

  5. Linux System Log Collection、Log Integration、Log Analysis System Building Learning

    目录 . 为什么要构建日志系统 . 通用日志系统的总体架构 . 日志系统的元数据来源:data source . 日志系统的子安全域日志收集系统:client Agent . 日志系统的中心日志整合系 ...

  6. 怎样查出SQLServer的性能瓶颈

    怎样查出SQLServer的性能瓶颈 --王成辉翻译整理,转贴请注明出自微软BI开拓者[url]www.windbi.com[/url]--原帖地址 如果你曾经做了很长时间的DBA,那么你会了解到SQ ...

  7. 【原创】构建高性能ASP.NET站点 第六章—性能瓶颈诊断与初步调优(下前篇)—简单的优化措施

    原文:[原创]构建高性能ASP.NET站点 第六章-性能瓶颈诊断与初步调优(下前篇)-简单的优化措施 构建高性能ASP.NET站点 第六章—性能瓶颈诊断与初步调优(下前篇)—简单的优化措施 前言:本篇 ...

  8. Shell脚本查看linux系统性能瓶颈(转)

    Shell脚本查看linux系统性能瓶颈(转自:http://blog.51cto.com/lizhenliang/1687612) [root@test ~]# cat show_sys_info. ...

  9. Anatomy of a Database System学习笔记 - 查询

    查询解析 解析会生成一个查询的内部展示.格式检查包含在解析过程中. 每次解析一个SELECT,步骤如下:1. 从FROM里找到表名,转换成schema.tablename.这一步需要调用目录管理器ca ...

随机推荐

  1. centos 7 安装vscode

    网上很多写的安装,会遇到一个问题,就是无法启动: sudo rpm --import https://packages.microsoft.com/keys/microsoft.asc sudo sh ...

  2. 《笨方法学Python》加分题28

    #!usr/bin/python # -*-coding:utf-8-*- True and True print ("True") False and True print (& ...

  3. HDU 6041.I Curse Myself 无向仙人掌图

    I Curse Myself Time Limit: 8000/4000 MS (Java/Others)    Memory Limit: 131072/131072 K (Java/Others) ...

  4. python第十八天 多态 和 私有

    python的多态比较特别 多态, 字面意思,多种状态. 扩展下 -> 执行同样的操作,结果却不同. 对使用的操作者来说, 就是执行同一个方法, 得到了不同的结果. 在操作者看来,像是   具备 ...

  5. BCode解码练习

    在学习BT协议中的一个小练习 参考了 https://github.com/airtrack/bitwave 具体B编码解释 可以自行搜索或者参考 这篇文章 bittorrent 学习(一) 种子文件 ...

  6. CSL的字符串

    链接:https://ac.nowcoder.com/acm/contest/551/D 来源:牛客网 时间限制:C/C++ 1秒,其他语言2秒 空间限制:C/C++ 524288K,其他语言1048 ...

  7. shell脚本编写某一文件夹内拷贝某一段文件(有则跳过没有则拷贝)

    必须是同一台服务器下,或者挂载目录,不同服务器下没办法查询目录中是否有该文件 如果不在同一服务器下,可以把要查询的那个服务器的文件夹设置共享挂在到当前服务器 或者可以把脚本写到要拷贝的服务器上,那么s ...

  8. s6-3 通信模型

    传输层的作用范围 通信5元组 一些已分配的知名端口 三元组 协议. 本地端点. 远方端点 五元组 协议. 本地IP地址.本地端口号. 远端IP地址.远端端口号 通信5元组 源IP 源端口 目的I ...

  9. openmp入门总结

    Ref: https://wdxtub.com/2016/03/20/openmp-guide/ 简介 这门课作为 ECE 中少有的跟计算机科学相关的课,自然是必上不可.不过无论是 OpenMP 还是 ...

  10. scrapy的入门使用(二)

    1. scrapy实现翻页请求 找到下一页的url地址 构造url地址的请求,传递给引擎 1.1 实现翻页请求 使用方法 在获取到url地址之后,可以通过scrapy.Request(url,call ...