1. Informatica简介 ① Repository manager 主要用来维护资料库的目录,对象,建完对象可以创建demo的folder. ② Administration Console是完全基于web的,管理所有的节点,服务,在里面包括资料库的一些用户,权限等信息. ③ Designer主要用来设计mapping.Mapping是informatica的一个映射,也就是说是ETL的一个规范,包括对源,目标,过程的设计. ④ workflow主要用于将mapping实例化,也就是设计

1.informatica中domain与node的理解: domain 类似于局域网,node就是局域网中的节点或者计算机. node应与repository在数据库中存储在不同的scheme中,此处node指informatica操作的内容. 2.informatica中Repository Service 与 Intergration Service IS:工作引擎:RS:管理引擎,管理repository: IS与RS工作流程为:客户端发请求到IS,IS调用RS完成各种ETL操作,其中,

Informatica所有的元数据信息均以数据库表的方式存到了元数据库中.当然Infa本身工具提供了很多的人性化的功能,使我们在开发时可以很方便的进行操作,但人们的需求总是万变的,需要方便的取到自己需要的信息,那就需要我们对他的元数据库有很深的了解. Informatica所有的元数据信息均以数据库表的方式存到了元数据库中.当然Infa本身工具提供了很多的人性化的功能,使我们在开发时可以很方便的进行操作,但人们的需求总是万变的,需要方便的取到自己需要的信息,那就需要我们对他的元数据库有很深的了解

因客户需求,最近重拾Informatica下的PowerCenter产品,主要研究数据血缘关系.从PowerCenter本身来看,它是一个功能非常强大,速率非常高效的一款付费的ETL工具,可以满足各种需求,包括对接各种数据源(SAP也可以).各种应用组件(table.java.file.html).人性化的监控器.以及各种任务界面等等.同时基于客户端本身,PowerCenter还有自身的存储库,存储Informatica所有的元数据信息,我们在使用PowerCenter进行快捷etl开发时,这些

Informatica Lookup Transformation组件的Connect 与Unconnected类型用法及区别:下面是通一个Lookup在不同Mapping中的使用: 1. Connect lookup: 可以返回多个输出port的字段值,需要用连接线将输入.输出port连接到其他组件. 2. Unconnected lookup 只能返回一个port的字段值,无需连接线连接到其他组件,只需直接在Expression表达式中像调用函数函数那样调用它即可获得返回值. Connect

1. INFORMATICA CLIENT的使用 1.1 Repository Manager 的使用 1.1.1 创建Repository. 前提: a.在ODBC数据源管理器中新建一个数据源连接至你要创建Repository的数据库(例:jzjxdev) b. 要在你要连接的数据库中新建一个用户(例:name: ETL password: ETL) 现在你可以创建一个Repository了.选择Repository – Create Repository,输入RepositoryName(例

#传mapping参数时#调用执行workflow,-sv informatica服务,-d 域 -u 用户,-p 密码 -folder知识库下的workflow所在文件夹,-wait wf_test (workflow名) cd /server/bin ./server/infa_shared/crm_prod/prod_para.txt -wait wf_test

INFORMATICA SERVER的调优我认为主要从两个级别来做,一个是MAPPING级别,一个是SESSION级别. 对于MAPPING级别的调优: 一  对MAPPING数据流向的优化: 1 控制源头过来的数据内容,根据设计需求,不需要过来的数据尽量不加载.当然这个主要在SOURCE QUALIFIER 里用SQL过滤好些. 2 TRANSFERMATION组件的顺序也是很有讲究的,如果是EDW中需要STAG表的话,从源过来的第一层一般就直接加载.在第二层一般是计算聚合过程,这个过程的MA

软件开发的一般都有三个环境,开发环境,用户接受度测试环境,生产环境.我最近实施了从开发环境到生产环境的部署工作,在此跟大家分享一下. 大概步骤如下: 1 备份生产环境INFORMATICA 知识库  登录CONSOLE备份当前的知识库. 2 在开发环境的INFORMATICA REPOSITORY MANAGER 上导出最新开发的文件夹,导出格式为XML文件. 3 在生产环境的INFORMATICA REPOSITORY MANAGER上导入对应的XML文件,导入过程中需要设置规则来处理对应重名

本文对于informatica使用过程中产生的问题及解决方案做总结,持续更新中... 1.partitioning option license required to run sessions with user_defined partition points 原因:union 组件要求使用分区,但是license 却没有该权限. 解决方案:1.union中 is partitinable 设置为no,require single thread per partition 取消check:

经验和积累蛮重要!向大神学习! ---------------------------------------------------------------------- Mapping: 在source --> source qualifier 之后,我去掉了一列 Event_number,然后导入target表中. 然后,在workflow中 source里面的SQL query 填了一个筛选条件: 选出Airs_On='CBS' 的所有行(列起初和source保持一致). 最后跑这个wo

Informatica  结构 1个或多个资源库(Respository) PowerCenter数据整合引擎是基于元数据驱动的,提供了基于数据驱动的元数据知识库(Repository),该元数据知识库可以在主流的关系型数据库中部署.该院数据库中存储所有的ETL元数据,包括:源.目标表的物理和逻辑元数据,ETL转换规则,知识库用户权限,ETL任务运行历史信息等元数据. 2个Server Informatica Repository Server: 资料库的Server,管理ETL过程中产生的元数

Mapping层级的调优可能会花费时间,但是性能调优的效果确实非常显著的 优化Target,Source之后,可以调优Mapping 通常的方法是尽可能减少组件及组件的字段间不必要的连线 即尽可能用最少的组件和表达式做最多的工作,尽可能减少组件的字段间不必要的连线来保证数据移动量 优化之Source平面文件 通过以下几种方式进行优化: 1 调整Line Sequential Buffer长度 可以设定Integration Service读取平面文件每行的最大字节数,默认情况下Integrati

我们在ssm框架开发的时候(不限于此框架),为了开发效率.有时候不得不提高一下代码速度.千篇一律的事情谁都头疼,比如写dao,写model,写mapping等等.不仅慢,而且一不留神,还会出错. 今天,教大家一种简单的方式,自动生成dao.model和mapping的方法,快速.不易出错! 首先,你需要准备如下工具: 一个jar包,一个配置文件.网上有下载,百度即可!在同级目录下, 新建一个空的src文件夹, 接下来,打开你的数据库(这里我的是mysql): 我这里只有一张表,是不是很少....

本文转载自:http://www.cnblogs.com/evencao/p/informatica.html Informatica主要的组件: Source Qualifier 从数据源读取数据 Expression 行级转换,计算式 Filter 数据过滤 Sorter 数据排序 Aggregator 聚合 Joiner 异构数据关系连接 Lookup 查询连接 Update Strategy 对目标编辑insert, update,delete ,reject Router 条件分发 S

本文转载自:http://www.cnblogs.com/evencao/p/3147843.html 之前看了一段数据库的基础,感觉自己对数据库的基础挺薄弱的.以后再学习其他东西的时候也需要经常能学习回顾下数据库.这一个星期看了些数据仓库理论方面的东西,但是感觉映像不深,可能需要在之后实际使用过程中去真正的理解这些东西. 关于informatica的资料很少.主要看的是 数据中国大讲坛上http://www.db365.net/forum.php分享的一个教学视频.接下来是一些做的例子. 一.

Informatica  结构 1个或多个资源库(Respository) PowerCenter数据整合引擎是基于元数据驱动的,提供了基于数据驱动的元数据知识库(Repository),该元数据知识库可以在主流的关系型数据库中部署.该院数据库中存储所有的ETL元数据,包括:源.目标表的物理和逻辑元数据,ETL转换规则,知识库用户权限,ETL任务运行历史信息等元数据. 2个Server Informatica Repository Server: 资料库的Server,管理ETL过程中产生的元数

目    录 Informatica开发规范.... 1 目    录.... 2 1        编写目的.... 4 2        ETL研发责任人界定.... 4 3        ETL 研发数据库操作约束条件.... 4 4        定义.... 4 5        范围.... 5 6        系统通用属性.... 6 7        命名规则.... 6 7.1          通用规则... 6 7.2     Connection 数据源连接... 6

1 What is the difference between a data warehouse and a data mart? Ø Dataware house: It is a collection of data marts. Represents historical data. a data warehouse is a relational database which is specially designed for analysis purpose rather then

--登陆INFA资料库,运行下面的SQL --想要更加个性化查询的话注意看SQL倒数第二第三行的备注 SELECT RUN_DATE, START_TIME , END_TIME, FOLIDER , WORKFLOW, WORKLET_LVL3, WORKLET_LVL2, WORKLET_LVL1, SESSION_NAME, MAPPING_NAME, RUN_STATUS, SUSSESSFUL_SOURC_ROWS, FAILED_SOURCE_ROWS, SUCCCESSFUL_RO

Informatica学习笔记1:UPDATE AS INSERT 问:要求实现每天抽取数据,而且是如果有改变才抽取更新,没有就不更新,因为源表中有最后修改时间的字段,我让它 和SESSION上次运行时间比较来解决是否抽取,但问题是有的表中没有主键,我该怎么实现更新呢 ?有主键的我在WORKFLOW的MAPPING里面勾上了UPDATE ELSE INSERT 那没主键的用 UPDATE AS INSERT 行么?还有UPDATE AS INSERT 什么意思啊,能解释的形象点么? 答:UPDA