ETL工具-KETTLE教程实例实战3----转换(输入、输出)

欢迎关注笔者的公众号: java大师, 每日推送java、kettle运维等领域干货文章,关注即免费无套路附送 100G 海量学习、面试资源哟!!个人网站: http://www.javaman.cn/kettle/kettle-actual

一个作业相当于一次执行的全过程,而每个作业是由许多的转换和作业组成,下面我们先跳过作业和数据库连接直接先讲抓换:

转换同时也是有许多的各种控件组成,下面我们就先来介绍下常用控件的使用,再举例说明下常用控件的使用:

一、转换

1、输入

1.1、表输入:连接数据库(oracle、mysql、DB2,infomix,sqlserver),根据sql语句查询相关数据,放入数据流

具体步骤:按照上图顺序:1、配置数据库连接;2、填入具体的sql语句;3、预览查询数据是否正确展示;4、点击确定保存控件修改

预览数据的数据内容。

1.2、JSON输入:读取文件中的Json数据,放入数据流,该数据流支持写入数据库表和文件

js文件如上图,3个对象,包含id、name、sex和age

双击打开json输入,如上图所示添加文件,选择字段后,点击确定即可导入json数据,转换为具体的表数据流,点击预览可以看到转换后的具体数据,如下图:

1.3、JSON输入:读取文件中的xml报文数据,写入数据流,该数据流支持写入数据库表和文件

双击打开xml文件输入,如上图所示添加文件,选择字段后,点击确定即可导入xml报文数据,转换为具体的表数据流,点击预览可以看到转换后的具体数据,该数据可以写入文件或数据库表

 1.4、文本文件输入:读取文本文件中的据,写入数据流,该数据流支持写入数据库表和文件

双击打开文本文件输入,如上图所示添加文件,选择字段后,点击确定即可导入txt数据,转换为具体的表数据流,点击预览可以看到转换后的具体数据,该数据可以写入文件或数据库表

2、输出

2.1、EXCEL输出:将数据流中的文件输出到EXCEL

此处用到两个控件,文本文件前面说过,可以观看前面的内容。选择excel输出后,按住shift键,连接两个控件(HOP连线)。

双击打开EXCLEL输出,如上图所示添加文件,选择字段后,点击确定即可导出excel数据,Integer数据的格式要选择0,为整型,不然导出的id为1.00,带出的文件内容如下:

2.2、XML文件输出:将数据流中的文件输出到XML中

此处用到两个控件,文本文件前面说过,可以观看前面的内容。选择excel输出后,按住shift键,连接两个控件(HOP连线)。

双击打开XML文件输出,如上图所示添加文件,选择字段和该字段是元素还是属性后,点击确定即可导出XML,Integer数据的格式要选择0,为整型,不然导出的id为1.00

2.2、JSON文件输出:将数据流中的文件输出到XML中

双击打开JSON输出,如上图所示填写XPATH,选择字段后,点击确定即可导出json数据。

2.3、删除:此处不再赘述,后面讲解执行sql脚本比删除更方便

2.4、SQL文件输出:此处不再赘述,PLSQL、TOAD,NATIVE等IDE工具导出会更加方便

2.4、表输出:将数据流中的文件输出到数据库的具体表中

此处用到两个控件,文本文件前面说过,可以观看前面的内容。选择表输出后,按住shift键,连接两个控件(HOP连线)。

双击打开表输出,如上图所示配置好数据库,选择具体的表,执行转换,即可插入具体的数据库表。运行结果如下:

2.4、表输出:将数据流中的文件输出到数据库的具体表中

双击打开插入/更新,如上图所示配置好数据库,选择具体的表,按照1-3步骤配置,执行转换,即可插入/更新具体的数据库表。

**读取上个步骤的数据,放入数据流中,ID相同会执行更新操作,ID不存在会执行插入操作

在这给大家介绍完了,转换中常用的输入输出,通过上述介绍可以看到,kettle功能十分强大,可以直接读取文本、JSON和XML数据,与数据库做交互等。这还只是KETTLE的很小一部分功能。

注意:因某些限制,最新源代码和后续通用配置实现数据抽取 已放置在笔者公众号上,请关注微信公众号: 【JAVA大师】, 回复关键字:【KETTLE】,获取kettle安装程序和运行实例(表结构和kjb、ktr文件)

同时笔者原创了一套视频教程:现免费发放100套,先到先得。获得方法:扫描下方二维码,关注获得

ETL工具-KETTLE教程实例实战3----转换(输入、输出)的更多相关文章

  1. ETL工具-KETTLE教程专栏1----术语和定义

    1-资源库 资源库是用来保存转换任务的,用户通过图形界面创建的的转换任务可以保存在资源库中.        资源库可以使多用户共享转换任务,转换任务在资源库中是以文件夹形式分组管理的,用户可以自定义文 ...

  2. 开源ETL工具kettle系列之常见问题

    开源ETL工具kettle系列之常见问题 摘要:本文主要介绍使用kettle设计一些ETL任务时一些常见问题,这些问题大部分都不在官方FAQ上,你可以在kettle的论坛上找到一些问题的答案 1. J ...

  3. 可用于Hadoop下的ETL工具——Kettle

    看大家分享了好多hadoop相关的一些内容,我为大家介绍一款ETL工具——Kettle.    Kettle是pentaho公司开源的一款ETL工具,跟hadoop一样,也是java实现,其目的就是做 ...

  4. ETL工具--kettle篇(17.10.09更新)

    ETL是EXTRACT(抽取).TRANSFORM(转换).LOAD(加载)的简称,实现数据从多个异构数据源加载到数据库或其他目标地址,是数据仓库建设和维护中的重要一环也是工作量较大的一块.当前知道的 ...

  5. 大数据之ETL工具Kettle的--1功能介绍

    Kettle是一款国外开源的ETL工具,纯java编写,可以在Window.Linux.Unix上运行. 说白了就是,很有必要去理解一般ETL工具必备的特性和功能,这样才更好的掌握Kettle的使用. ...

  6. ETL工具kettle基本使用

    1.下载kettle:https://sourceforge.net/projects/pentaho/files/Data%20Integration/7.0/pdi-ce-7.0.0.0-25.z ...

  7. ETL工具Kettle使用以及与Java整合实现数据清洗

    本文主要讲述kettle的使用和与Java整合,具体下载与安装请自行百度! kettle有两种脚本方式:转换和工作,工作中可以添加转换.以下以转换为例. 1.新建一个转换, 2.在工作中经常用到的是表 ...

  8. 八步学会数据迁移:ETL工具kettle使用方法

    一.目的 将不同服务器上的表合并到另外一个服务器上.例如:将服务器1上的表A和服务器2上的表B,合并到服务器3上的表C 要求:表A需要被裁剪(去掉不必要的字段).表B需要增加一些字段 二.使用方法 ( ...

  9. ETL利器Kettle实战应用解析系列一【Kettle使用介绍】

    本系列文章主要索引如下: 一.ETL利器Kettle实战应用解析系列一[Kettle使用介绍] 二.ETL利器Kettle实战应用解析系列二 [应用场景和实战DEMO下载] 三.ETL利器Kettle ...

  10. ETL利器Kettle

    ETL利器Kettle实战应用解析系列一[Kettle使用介绍] 本系列文章主要索引如下: 一.ETL利器Kettle实战应用解析系列一[Kettle使用介绍] 二.ETL利器Kettle实战应用解析 ...

随机推荐

  1. 【栈和队列】纯C实现栈和队列以及其基本操作-宝藏级别数据结构教程【保姆级别详细教学】

    [栈和队列]栈和队列的C语言实现-宝藏级别数据结构教程-超详细的注释和解释 先赞后看好习惯 打字不容易,这都是很用心做的,希望得到支持你 大家的点赞和支持对于我来说是一种非常重要的动力 看完之后别忘记 ...

  2. ”动态“修改MAC地址

    一:获取MAC地址 1.自定义的MAC地址 这里是例程中存放自定义MAC地址的位置,如果想修改MAC地址可以在此处修改.一般例程这里是灰色的需要在工程预编译处配置. 可以看到MCU.c文件中此处代码生 ...

  3. Windows10系统下JDK1.8的下载安装及环境变量配置

    1. JDK1.8安装 2. 环境变量配置点击此处:官网下载 根据自己的系统 ,下载相应的JDK版本. 1. JDK1.8安装双击下载的安装包(.exe文件),进行安装. 点击"下一步&qu ...

  4. NC17315 背包

    题目链接 题目 题目描述 Applese有 \(1\) 个容量为 \(v\) 的背包,有 \(n\) 个物品,每一个物品有一个价值 \(a_i\) ,以及一个大小 \(b_i\) 然后他对此提出了自己 ...

  5. NC16742 [NOIP2002]字串变换

    题目链接 题目 题目描述 已知有两个字串 A, B及一组字串变换的规则(至多6个规则): A1 -> B1 A2 -> B2 规则的含义为:在A中的子串 A1可以变换为 B1.A2可以变换 ...

  6. Python3排序sorted(key=lambda)

    Python3排序sorted(key=lambda) 简述: 假如d是一个由元组构成的列表,我们需要用到参数key,也就是关键词,看下面这句命令,lambda是一个隐函数,是固定写法,不要写成别的单 ...

  7. Linux中$home和波浪号~

    在Linux中当前用户的主目录可以有三种表示方法,都是等效的[正常不改配置情况下]例如用户名为sy,进入当前用户的主目录/home/sy 输入cd ~ 或输入cd $HOME 或输入cd /home/ ...

  8. IntersectionObserver对象

    IntersectionObserver对象 IntersectionObserver对象,从属于Intersection Observer API,提供了一种异步观察目标元素与其祖先元素或顶级文档视 ...

  9. LAMP环境部署wordpress

    关于搭建LAMP 请参考:https://blog.csdn.net/IndexMan/article/details/122991129 本篇是基于LAMP环境搭建wordpress. 上传word ...

  10. Java集合框架学习(一)介绍

    介绍 Java集合框架是一组接口和类的集合,它使得存储和处理数据更加有效率. 该框架有一些类,有很多函数使得程序员更加容易的处理集合类型数据. 后面的教程就是针对这些常用类展开,配合例子代码来给大家一 ...