kettle--变量的使用
一、kettle的inner join
需求:
目前本地文件系统上有一个person.csv文件:
数据库中有一个person表:
现在需要将这两张表做inner join的操作。
1.1首先我们写一个转换,这个转换有两个输入,一个输入是表输入,一个是csv类型文件的输入
首先是表输入的配置:
为什么要排序呢,因为做inner join的时候,需要两个输入都是排过序的。
下面是csv输入文件的配置:
1.2现在也需要对csv文件中的数据做排序:
1.3现在对排过序的输入做inner join
1.4对join完成后的数据做文本文件的输出
1.5运行这个转换查看运行的结果
二、kettle执行的日志类别
当运行一个转换或者job的时候,可以选择日志的级别
日志级别的介绍:
Nothing 没有日志 不显示任何输出
Error 错误日志 仅仅显示错误信息
Minimal 最小日志 使用最小的日志
Basic 基本日志 缺省的日志级别
Detailed详细日志 给出日志输出的细节
Debug 调试日志 调试目的,调试输出
Rowlevel行级日志 打印出每一行记录的信息
默认为基本日志
三、变量
kettle中的变量分两种:一种是属性变量,一种是运行时参数变量
3.1设置变量
3.1.1设置属性变量
设置属性变量有以下两种方式:
在$kettle_home/.kettle/kettle.properties里设置key=value
在spoon主界面点击编辑--》编辑kettle.properties文件
3.1.2设置运行时变量
在job或者转换的命名参数里设置参数的名称和默认值,然后在运行job和转换是要指定参数的值否则会使用默认的值
在spoon主界面点击编辑--》设置环境变量
环境变量是在spoon运行时有效,软件关闭重启后清除
现在我们将数据库的连接关键字设置为属性变量
3.2使用变量
3.2.1属性变量的使用
3.2.2使用运行时变量
kettle--变量的使用的更多相关文章
- Kettle变量和自己定义java代码的实例应用
1 kettle.properties參数配置数据源连接和FTP连接 因为測试环境和生产环境中数据库连接FTP等配置会在部署过程中变更,所以预先定义成配置项,在配置文件里改动.这样測试和公布将会变得 ...
- kettle变量(var变量)
设置变量/set varibale 1.定义变量(子转换): 原始数据 设置获取变量:点击获取字段,自动获取变量名称和字段名称 引用变量: 输出: kettle.properties 文件存储在.ke ...
- kettle变量(param命名参数2)
接arg参数: 通过命令行进行变量赋值和引用 定义跟界面定义相同: 赋值(转换): 运行命令到kettle目录下 pan /file:path "/param:aa="bb&quo ...
- Kettle 变量(arg位置参数)
1.表输入中使用?占位作为kettle转换变量 数据预览: 获取变量数据: 使用?传入变量 需要勾选替换sql语句中的变量,并选则从步骤插入数据中所在步骤 数据预览
- kettle变量使用
公司项目使用kettle重构之前的取数,先研究下日常的使用. 一.建立数据转换,表数据到表输出,其中表输入数据来自其他业务数据库,通过输入sql执行得到数据. 表输入: 表输出: 设置并行4个线程. ...
- kettle变量(param命名参数)
1.定义: 编辑-设置-命名参数 在当前界面下定义参数名称和缺省值. 2.引用:原始数据 通过${var}引用变量 输出 注:1.字符串在命名参数引用是需要添加单引号的,但位置参数是不需要进行转译: ...
- kettle环境变量的设置和获取
1. 变量的类型Kettle 的早期版本中的变量只有系统环境变量目前版本中(3.1) 变量包括系统环境变量, "Kettle变量" 和内部变量三种 系统环境变量的影响范围很广,凡是 ...
- KETTLE设置变量
一.kettle变量类型 kettle变量分为: 1.环境变量 通过 set variables组件设置变量,范围可以是:JVM变量.作业变量.父作业变量.根作业变量.使用时通过${var}或 %%v ...
- kettle的基本介绍
Kettle 主要内容: 一.ETL介绍 二.Kettle介绍 三.Java调用Kettle API 一.ETL介绍 1. ETL是什么? 1).ETL分别是“Extract”.“ Transform ...
- Kettle 4.2源码分析第一讲--Kettle 简介
Pentaho Data Integration(PDI)简介 1. PDI结构简介 图 1‑1 PDI核心组件 Spoon是构建ETL Jobs和Transformations的工具.Spoon可以 ...
随机推荐
- Confluence 6 导入 Active Directory 服务器证书 - Windows
为了让你的应用服务器能够信任你的目录服务器.你目录服务器上导出的证书需要导入到你应用服务器的 Java 运行环境中.JDK 存储了信任的证书,这个存储信任证书的文件称为一个 keystore.默认的 ...
- websphere设置企业应用使用的jvm最大最小内存
websphere设置企业应用使用的jvm最大最小内存 设置jvm 内存的最大最小值.打开was管理控制台 点击应用程序服务器-----server1 点击java和进程管理前面的加号 点击进程 ...
- ubuntu安装环境软件全文档
1,安装apace2: sudo apt-get install apache2 2谷歌浏览器的安装:sudo apt-get install chromium-browser-dbg 3,国际版Q ...
- csp 通信网络
http://blog.csdn.net/zyy_1998/article/details/78334496 试题编号: 201709-4 试题名称: 通信网络 时间限制: 1.0s 内存限制: 25 ...
- git上传文件到github与gulp的简单使用
git有两种方式提交源代码到github 第一种方式通过地址提交下面介绍的是通过ssh方式上传 git使用ssh方式上传代码到githubgit首先要生成公钥和私钥 将公钥添加到github中将私钥保 ...
- 在EO中获取某字段基于表的列名
//生成EO的时候自动生成的字段 public static final int BRIEFINTRO = 88; String[][] str = null; str = new String[][ ...
- MySQL查询性能优化---高性能(二)
转载地址:https://segmentfault.com/a/1190000011330649 避免向数据库请求不需要的数据 在访问数据库时,应该只请求需要的行和列.请求多余的行和列会消耗MySql ...
- Idea安装及其简介
Idea现有设置 Idea重新安装步骤 卸载开始 D:\devsoft\jet\env\maven\global\wonders\settings.xml ...
- (C#基础)反射理解
这个知识点很基础. 代码 using System; using System.Collections.Generic; using System.Linq; using System.Text; n ...
- Linux内核分析-使用gdb跟踪调试内核从start_kernel到init进程启动
姓名:江军 ID:fuchen1994 实验日期:2016.3.13 实验指导 使用实验楼的虚拟机打开shell cd LinuxKernel/ qemu -kernel linux-3.18.6/a ...