原文地址:http://www.xue51.com/soft/5341.html Kettle是来自国外的一款开源的ETL工具,纯java编写,可以在Window.Linux.Unix上运行,绿色无需安装.Kettle可以帮助你实现你的ETTL需要:抽取.转换.装入和加载数据数据,且抽取高效稳定.Kettle这个ETL工具集,翻译成中文名称应该叫水壶,寓意为希望把各种数据放到一个壶里然后以一种指定的格式流出.它允许你管理来自不同数据库的数据,通过提供一个图形化的用户环境来描述你想做什么,而不是你

oracle里的查询转换的作用 Oracle里的查询转换,有称为查询改写,指oracle在执行目标sql时可能会做等价改写,目的是为了更高效的执行目标sql 在10g及其以后的版本中,oracle会对某些类型的查询转换(比如子查询展开.复杂视图合并等)计算成本,oracle会分别计算查询转换后的 等价改写的sql的成本和原始sql的成本,如果改写后的sql的成本低于原始sql的成本,oracle才会对目标sql执行查询转换. 子查询展开—in.exists.. 指优化器不在将子查询当做一个独立的

关于Kettle的事务和转换内步骤的顺序执行 近来有项目中遇到Kettle事务处理和转换内步骤顺序执行的问题.为此进行了研究,找到了一个解决办法. 在Kettle中,一个Job内的转换,缺省是顺序执行的:一个转换内的步骤,缺省是并行执行的.但是,社区版不支持job内的事务处理,只支持转换内的事务.因此,如果要做顺序操作,且支持事务,需要如下处理: 根据业务需要,使用“阻塞数据直到步骤都完成”在转换内设置顺序执行的内容: 设置转换只使用一个事务.转换设置–>杂项–>使用唯一连接. 设置转换内的表

首先来看,jquery里自带的,和json相关的函数: 1.$.parseJSON  :  用来解析JSON字符串,返回一个对象. 什么叫“JSON字符串”? 比如: var a={name:"aijquery",url:"www.aijquery.cn"}; 上面定义的变量a是个JSON对象,我们可以直接用“a.name”或“a.url”来访问内容的数据. var a="{name:'aijquery',url:'www.aijquery.cn'}&qu

我和大家分享一下我的kendo的学习心得.如果不好的地方多多包含或者给我留言请看图 kendo里时间格式如图Oder Date列里的格式.但是我们想把时间转换成中国人习惯的格式.如Shipped Date列里的格式. 这个就要在设置列里加一个格式format: "{0:yyyy/MM/dd}"请记住开头的 格式都要加一个0:你要排在前面的日期字母.如月/日格式:format:"{0:MM/dd}",单独月:format:"{0:MM}"整个Gri

我们在 Java 中经常会碰到如何把 InputStream 转换成 String 的情形,比如从文件或网络得到一个 InputStream,需要转换成字符串输出或赋给别的变量. 未真正关注这个问题之前我常用的办法就是按字节一次次读到缓冲区,或是建立 BufferedReader 逐行读取.其实大可不必费此周折,我们可以用 Apache commons IOUtils,或者是 JDK 1.5 后的 Scanner,还可用 Google  Guava 库的 CharStreams.到了 JDK7,

本来想在centos7下部署的,发现因为java版本的问题,无法成功部署,无奈,转到windows平台(后来找到解决方法了,在centos7系统下yum install webkitgtk* -y 就可以了,注意执行spoon.sh时需要在桌面环境下执行,我直接在xshell下执行,会报错,无法弹出图形界面) 下载地址 https://jaist.dl.sourceforge.net/project/pentaho/Pentaho%208.0/client-tools/pdi-ce-8.0.0.

  1.Row Normaliser,将一行多列数据转换为多行一列数据. 输入数据流: 计算器配置如下: 与计算器相连接的excel输出如下: Row Normaliser,设置如下, 与Row Normaliser连接的Excel输入如下 2.Split field to rows 字段拆分,一个单元拆分成多行 输入流字段: Split field to rows 设置: 结果展示 3.拆分字段,将一个字段拆分成多个,一个字段拆分成多列 Generate Rows输入流, 拆分字段,设置,一个

1,Kettle跨平台使用.    例如:在AIX下(AIX是IBM商用UNIX操作系统,此处在LINUX/UNIX同样适用),运行Kettle的相关步骤如下:    1)进入到Kettle部署的路径    2)执行 chmod *.sh,将所有shell文件添加可执行权限    3)在Kettle路径下,如果要执行transformation,就运行./pan.sh -file=?.ktr -debug=debug -log=log.log    其中.-file说明你要运行的transfor

自己记录,仅供参考 在数据处理时经常会遇到数据类型不匹配的事情,为了方便查看各种存储方式中数据类型的改变.我把一些自己常用的整理方式记录下来,希望可以为以后数据类型的处理工作提供便利. 数据常用的基本处理类型 1.字符串 2.布尔类型 3.整数 4.浮点数 5.日期 (1)单个变量的数据类型转换及查看 单个变量的类型查看 In [82]: %paste a=' type(a) ## -- End pasted text -- Out[82]: str 单个变量的类型转换 数值转字符串 In [8

1.对双向链表的具体操作如下: list_add ———向链表添加一个条目 list_add_tail ———添加一个条目到链表尾部 __list_del_entry ———从链表中删除相应的条目 list_replace———用新条目替换旧条目 list_del_init———从链表中删除条目后重新初始化 list_move———从一个链表中删除并加入为另一个链表的头部 list_move_tail———从一个列表中删除并加入为另一个链表的尾部 list_is_last———测试是否为链表的最

变量 pagination_html是一个方法返回的html代码,需要在前端渲染出来,不是当字符串显示 <!-- /.box-body --> {% autoescape off %} {# 关闭特殊字符转换 #} {# 分页导航条 #} {{ pagination_html }} {% endautoescape %}

1.定义子服务器 新建子服务器中有一个必须为主服务器 新建集群 在需求集群运行的步骤中右键集群进行使用

// 十进制转其它进制(二进制,八进制,十六进制) int k = 17; System.out.println(Integer.toBinaryString(k));// 转二进制 System.out.println(Integer.toOctalString(k));// 转八进制 System.out.println(Integer.toHexString(k));// 转十六进制 // 结果 // 10001 // 21 // 其它进制转十进制 System.out.println(I

代码: using System; using System.Collections.Generic; publicclassMyClass { publicstaticvoidMain() { List<string> names =newList<string>(){"ccc","xxx","aaa","bbbb"}; names.Sort(); var result =String.Join(&q

Kettle能做什么? 前言 : 需将db2中数据导入到mysql中,利用etl工具进行多表转换.以此为切入点,系统整理.学习kettle工具. 提醒: kettle是纯java编写,机器需要有jre环境.它允许管理来自不同数据库的数据,通过一个图形化的用户环境来描述你想要什么. kettle中有两种脚本工作.1)transformation(转换):完成针对数据的基础转换.后缀名 .ktr 2)job(作业):完成整个工作流的控制.   后缀名   .kjb Kettle是一款国外著名的开源e

导读 Excel数据导入Oracle数据库的方法: 1.使用PL SQL 工具附带的功能,效率比较低 可参考这篇文章的介绍:http://www.2cto.com/database/201212/176777.html 2.使用Kettle工具,免费,相比之下功能更丰富,可实现一定的业务逻辑,推荐使用 注:Kettle下载后解压即可使用,但是依赖jvm,可以安装一下JDK 1.7(推荐) Excel数据导入Oracle示例 Kettle将Excel数据导入Oracle过程记录如下: 1.准备Ex

本文主要阅读目录如下: 1.简介Kettle的Kitchen和Span 2.命令行调度任务配置方式 3.后台进程配置运行方式 4.Windows任务设置 5.Demo下载 1.简介Kettle的Kitchen和Span 前面两篇文章中主要讲述了Kettle的 Spoon的转换和作业的GUI设计方式以及运行,也给出了Demo实战,那么实际上我们的应用模式可能会要求在服务器上以后台进程的方式运行这个ETL任务,就像我们传统上一般都是用Windows服务的方式来处理数据一样,那么用Kettle我们怎么

ETL利器Kettle实战应用解析系列一[Kettle使用介绍] 本系列文章主要索引如下: 一.ETL利器Kettle实战应用解析系列一[Kettle使用介绍] 二.ETL利器Kettle实战应用解析系列二 [应用场景和实战DEMO下载] 三.ETL利器Kettle实战应用解析系列三 [ETL后台进程执行配置方式] 本文主要阅读目录如下: 1.Kettle概念 2.下载和部署 3.Kettle环境配置 4.Kettle使用及组件介绍 ETL(Extract-Transform-Load的缩写,即

开源ETL工具kettle系列之常见问题 摘要:本文主要介绍使用kettle设计一些ETL任务时一些常见问题,这些问题大部分都不在官方FAQ上,你可以在kettle的论坛上找到一些问题的答案 1. Join我得到A 数据流(不管是基于文件或数据库),A包含field1 , field2 , field3 字段,然后我还有一个B数据流,B包含field4 , field5 , field6 , 我现在想把它们 ‘加’ 起来, 应该怎么样做.这是新手最容易犯错的一个地方,A数据流跟B数据流能够Joi

第一部分:开始 1         ETL入门 1.1   OLTP和数据仓库对比 1.2   ETL是什么 1.2.1          ETL解决方案的演化过程 1.2.2          ETL基本构成 1.3   ETL.ELT和EII 1.3.1          ETL 1.3.2          EII:虚拟数据整合 1.4   数据整合面临的挑战 1.4.1          方法论:敏捷BI 1.4.2          ETL设计 1.4.3          获取数据