本文转载自:http://www.cnblogs.com/evencao/p/informatica.html Informatica主要的组件: Source Qualifier 从数据源读取数据 Expression 行级转换,计算式 Filter 数据过滤 Sorter 数据排序 Aggregator 聚合 Joiner 异构数据关系连接 Lookup 查询连接 Update Strategy 对目标编辑insert, update,delete ,reject Router 条件分发 S

本文转载自:http://www.cnblogs.com/evencao/p/3147843.html 之前看了一段数据库的基础,感觉自己对数据库的基础挺薄弱的.以后再学习其他东西的时候也需要经常能学习回顾下数据库.这一个星期看了些数据仓库理论方面的东西,但是感觉映像不深,可能需要在之后实际使用过程中去真正的理解这些东西. 关于informatica的资料很少.主要看的是 数据中国大讲坛上http://www.db365.net/forum.php分享的一个教学视频.接下来是一些做的例子. 一.

本文转载自:http://www.cnblogs.com/evencao/p/3154715.html 看了几天的Informatica ,关于infor的资料也比较少,主要的<商业智能深入浅出>,以及中国大数据论坛上的教学视频.在看了这些之后总感觉远远不够,但又缺乏资料,不知道如何去深入学习. workflow主要是对ETL的调度工作.主要是实际的操作 Inforamtica 流程控制的组件. Decision:决策的组件,在里面可以写一个规则,形成一个决议 上图主要是一个Decision的

本文转载自:http://www.cnblogs.com/evencao/p/3140938.html  Infromatica PowerCenter介绍: 1993年在美国加利福尼亚州成立,一年后在美国纳斯达克上市. informatica的特点:1.强大的多种数据类型访问能力 2.企业级的数据集成解决方案 3.强大的ETL功能 Infromatica PowerCenter工具概况 主要有一下几部分组成: 1.Administration Console(管理控制台):主要负责管理Info

本文转载自:http://www.cnblogs.com/evencao/p/3152708.html 1.Router Transformation:在filter 组件中只能写一个过滤条件.而在Router中能写多个过滤条件. 对流入组件中的记录数据按照条件进行分发,类似JAVA语言中的Switch. 在分组的最后会有一个Default组,即所有组都不满足时就会进入default组.是缺省生成的.每条记录都回去验证每个组.router组件可以过滤出不符合标准的数据. 例:首先拖入源数据时  

本文转载自:http://www.cnblogs.com/evencao/p/3152384.html 1.User shortcuts:shortcuts能实现快捷方式的复用.快捷方式可以根据源的变化而变化.和直接拖拽的拷贝不一  样,拷贝过来的是两个版本都需要维护. 2.find object:Ctrl+F打开查找界面 3.View object dependencies:查看对象的依赖型关系. 可以右击对象的dependencies或者mapping菜单栏的dependencies来打开

本文转载自:http://www.cnblogs.com/evencao/p/3148373.html link path:查看某个字段的来源去处,非常有参考的价值.右击你想要看的字段,选择 select link path.这样就是有红色的箭头标明.当数据量大多时会很有用. Autolink by name and Position:如果在f(x)与目标表中的link段掉了,如果name后面有OUT 如图 选择右击 autolinke 如果所示:name就是名字要相同,而position是位置

ETL,Extraction-Transformation-Loading的缩写,中文名称为数据抽取.转换和加载. 大多数据仓库的数据架构可以概括为: 数据源-->ODS(操作型数据存储)-->DW-->DM(data mart) ETL贯穿其各个环节. ​一.数据抽取: 可以理解为是把源数据的数据抽取到ODS或者DW中. 1. 源数据类型: 关系型数据库,如Oracle,Mysql,Sqlserver等; 文本文件,如用户浏览网站产生的日志文件,业务系统以文件形式提供的数据等: 其他外

Informatica  结构 1个或多个资源库(Respository) PowerCenter数据整合引擎是基于元数据驱动的,提供了基于数据驱动的元数据知识库(Repository),该元数据知识库可以在主流的关系型数据库中部署.该院数据库中存储所有的ETL元数据,包括:源.目标表的物理和逻辑元数据,ETL转换规则,知识库用户权限,ETL任务运行历史信息等元数据. 2个Server Informatica Repository Server: 资料库的Server,管理ETL过程中产生的元数

本文转载自:http://www.cnblogs.com/evencao/archive/2013/06/14/3135529.html ETL在数据仓库中具有以下的几个特点: 数据流动具有周期性: 因为数据仓库中的数据量巨大,一般采用成熟的ETL工具去完成抽取.转换.加载,以降低设计开发的和维护的复杂度,使设计开发人员有更多的时间去专注于业务转化规则. ETL是数据抽取.转换.加载的简写.它的一般过程是将数据源抽取出来,中间经过数据的清洗.转换,最后加载到目标表中.ETL的过程一般是批量的.

Informatica  结构 1个或多个资源库(Respository) PowerCenter数据整合引擎是基于元数据驱动的,提供了基于数据驱动的元数据知识库(Repository),该元数据知识库可以在主流的关系型数据库中部署.该院数据库中存储所有的ETL元数据,包括:源.目标表的物理和逻辑元数据,ETL转换规则,知识库用户权限,ETL任务运行历史信息等元数据. 2个Server Informatica Repository Server: 资料库的Server,管理ETL过程中产生的元数

每次面试,互联网的面试官,经常问我有没有用过ETL,每次我都懵逼,说没用过,觉得是多么高大上的东东,数据仓储 今天查了一下,我晕,自己天天用的Kettle就是最典型的ETL, 可以实现不同数据库之间的数据抽取,转换,只需要你有相应的数据库driver即可 查了一下资料记录一下: ETL,是英文 Extract-Transform-Load 的缩写,用来描述将数据从来源端经过抽取(extract).转换(transform).加载(load)至目的端的过程.ETL一词较常用在数据仓库,但其对象并不

一. 数据库 1. Oracle数据库,视图与表的区别?普通视图与物化视图的区别?物化视图的作用?materialized view 答:a:视图是虚拟表,提高了表的安全性,视图没有实际物理空间,而表有实际存储的物理空间 b:物化视图存储了实实在在的数据,而普通视图之存储了定义 c:物化视图的优点像索引一样,提高查询性能.当基表发生变化时,物化视图也应当刷新. 物化视图是数据库中的一种存储数据的对象,和表一样,存储了数据.用于预先计算并保存表连接或者聚集等耗时较多的操作.这样,在执行查询的时候,

六种 主流ETL 工具的比较(DataPipeline,Kettle,Talend,Informatica,Datax ,Oracle Goldengate) 比较维度\产品 DataPipeline kettle Oracle Goldengate informatica talend DataX 设计及架构 适用场景 主要用于各类数据融合.数据交换场景,专为超大数据量.高度复杂的数据链路设计的灵活.可扩展的数据交换平台 面向数据仓库建模传统ETL工具 主要用于数据备份.容灾 面向数据仓库建模

上周因为在处理很多数据源集成的事情一直没有更新系列文章,在这周后开始规律更新.在维度建模中我们已经了解数据仓库中的维度建模方法以及基本要素,在这篇文章中我们将学习了解数据仓库的ETL过程以及实用的ETL工具. 一.什么是ETL? 构建数据仓库的核心是建模,在数据仓库的构建中,ETL贯穿于项目始终,它是整个数据仓库的生命线.从数据源中抽取数据,然后对这些数据进行转化,最终加载到目标数据库或者数据仓库中去,这也就是我们通常所说的 ETL 过程(Extract,Transform,Load). 通常数

转自:http://www.csdn.net/article/2015-01-13/2823530 一个Hive查询生成多个Map Reduce Job,一个Map Reduce Job又有Map,Reduce,Spill,Shuffle,Sort等多个阶段,所以针对Hive查询的优化可以大致分为针对MR中单个步骤的优化(其中又会有细分),针对MR全局的优化,和针对整个查询(多MR Job)的优化,下文会分别阐述. 在开始之前,先把MR的流程图帖出来(摘自Hadoop权威指南),方便后面对照.另

Kettle是一个开园ETL工具,做数据仓库用Spoon. 工具:下载Spoon,解压即可用   1.认识常用组件:     表输入     插入\更新     数据同步     文本文件输出     更新     自动文档输出     表输出       列转行     增加常量     增加序列     排序记录     行转列     过滤记录     数据库连接       合并记录     排序合并     记录关联(笛卡尔输出)     记录集连接       分组     在内存中

星型数据仓库olap工具kylin介绍 数据仓库是目前企业级BI分析的重要平台,尤其在互联网公司,每天都会产生数以百G的日志,如何从这些日志中发现数据的规律很重要. 数据仓库是数据分析的重要工具, 每个大公司都花费数百万每年的资金进行数据仓库的运维. 本文介绍一个基于hadoop的数据仓库, 它基于hadoop(HIVE, HBASE)水平扩展的特性, 客服传统olap受限于关系型数据库数据容量的问题. Kylin是ebay推出的olap星型数据仓库的开源实现. 首先请安装Kylin, 和它的运

以下为一个完整的informatica读取ftp文件,并导入到系统中. 第一步: 通过shell脚本下载压缩包文件 /server/infa_shared/crm_prod/shell/ftpFromLive.sh $$ZIP_FILE_NAME shell脚本内容如下: #!/bin/bash filename=$ ftp -niv xxx.xxx.xxx.xxx <<-EOF user username password binary #服务器增加防火墙后,ftp请求已经修改为主动模式 p

1.在新服务器上部署环境 yum -y install subversion 2.备份原服务器数据仓库 svnadmin dump /home/myrepos >/data/svn_dump svnadmin load /home/myrepos </data/svn_dump(没有反应) 3.直接备份源文件 tar zcvf myrepos.tgz /home/myrepos 拷贝至目标数据库,解压缩 tar zxvf myrepos.tgz -C /home/ 4.启动SVN服务 svns