Kettle是一款国外开源的ETL工具,纯java编写,可以在Window.Linux.Unix上运行,数据抽取高效稳定.其中,Spoon是Kettle中的一个组件,其他组件有PAN,CHEF,Encr和KITCHEN等. Spoon通过图形化的页面,方便直观的让你完成数据转换的操作. 1.安装配置 点我下载 最新版本是7.1,小编这里使用的是6.1.下载完毕后,解压即可. 因为是Java编写的,需要jdk环境.配置完环境后,运行Spoon.bat或spoon.sh,就可以看到Spoon的页面了

前言 现在的数据库种类越来越多,数据库备份的格式也越来越复杂,所以数据格式化一直是一个老生常谈的问题.据库备份文件格式那么多,既有SQL的,也有BAK的,还有TXT的等.数据库种类也有很多,MySQL,Oracle,SQL server等,怎么对这些数据库进行管理?昨天泄露access格式的数据库,今天泄露了excel格式的数据库,明天又泄露了SQL格式的数据库.要格式化那么多种类的数据库,压力山大啊!搭建个本地的数据库怎么那么复杂? 这里就要说到kettle.首先得说说Pentaho这个企业.

参考:三大主流ETL工具选型 ETL工具 Kettle Spoon 开源ETL工具,所以免费,用java开发的. Ascential公司的Datastage(在2005年被IBM收购现在是 IBM 的分公司) 常见且常用,收费,可下载破解注册版 DataStage软件的优缺点:优点日志详细维护方便,缺点占用内存空间较大.参考:http://zhidao.baidu.com/link?url=Apt-gTOOiNDskzBXTpYtrkw-3OtdvdgRBAAsz7RB9cevYyROiyypm

ETL第一篇(Kettle Spoon) 初遇 ETL第二篇 调用webservice 简介 Kettle 是一款国外开源的 ETL 工具,纯 Java 编写,绿色无需安装,数据抽取高效稳定(数据迁移工具).Kettle 中有两种脚本文件,transformation 和 job,transformation 完成针对数据的基础转换,job 则完成整个工作流的控制. Kettle 中文名称叫水壶,该项目的主程序员MATT 希望把各种数据放到一个壶里,然后以一种指定的格式流出. Kettle这个E

最近做的项目用到了ETL工具Kettle,这个工具相当好用,可以将各种类型数据作为数据流,经过处理后再生成各种类型的数据.正如其名“水壶”,将各个地方的水倒进水壶里,再用水壶倒入不同的容器.不过一来初学乍用,二来对此任务不是很感兴趣,研究的不是很深入,可能是以一种不科学的方法使用的,但观教程,常用的内容似乎也涉及到了,并且Y大说过,要善于总结,于是有了这篇,作为入门说明吧. 一.下载与安装 官网地址 大概700~800M,下载好解压缩即可.当然,要求JDK环境(似乎有自带) 二.任务(.kjb)

 1.kettle介绍 kettle是一个ETL(Extract, Transform and Load抽取.转换.加载)工具,ETL工具在数据仓库项目使用很频繁,kettle也能够应用在下面一些场景: 在不同应用或数据库之间整合数据 把数据库中的数据导出到文本文件 大批量数据装加载数据库 数据清洗 集成应用相关项目是个使用 kettle使用很easy,通过图形界面设计实现做什么业务,无需写代码去实现.因此,kettle是以面向元数据来设计. kettle支持非常多种输入和输出格式.包含文本

spoon.bat 启动kettle. 测试数据 1. 新建转换 输入中选择文本文件输入 双击设置文本输入 字符集.分隔符设置 获取对应的字段,预览记录. 拖入 excel输出,设置转换关系 设置输出路径 获取字段 启动转换 导入的excel数据(设置好格式,图中ID,AGE 就不会有小数点)

Kettle能做什么? 前言 : 需将db2中数据导入到mysql中,利用etl工具进行多表转换.以此为切入点,系统整理.学习kettle工具. 提醒: kettle是纯java编写,机器需要有jre环境.它允许管理来自不同数据库的数据,通过一个图形化的用户环境来描述你想要什么. kettle中有两种脚本工作.1)transformation(转换):完成针对数据的基础转换.后缀名 .ktr 2)job(作业):完成整个工作流的控制.   后缀名   .kjb Kettle是一款国外著名的开源e

  1.情景展示 启动kettle的Spoon.bat闪退,并没有进入kettle的启动界面. 2.原因分析 使用条件: jdk版本需>=1.6: java需配置环境变量. 如果满足了上述前提条件,问题一般出现在:kettle为Java虚拟机的内存配置过大,导致无法正常启动程序. 3.解决方案 修改Spoon.bat里的内存配置,一般可以解决这个问题. 选中Spoon.bat-->右键-->编辑--> 默认值为: if "%PENTAHO_DI_JAVA_OPTIONS%

1.Java环境配置问题: java_home:D:\Program Files\Java\jdk1.7.0_25(安装jdk路径) classpath:.;%java_home%\lib\dt.jar;%java_home%\lib\tools.jar path:在path路径中添加%java_home%\bin;%java_home%\jre\bin; kettle_home:D:\Program Files\data-integration(安装kettle路径) 2.Java版本太低了,

kettle初探 Kettle简介:Kettle是一款国外开源的ETL工具,纯java编写,可以在Window.Linux.Unix上运行,数据抽取高效稳定.Kettle 中文名称叫水壶,该项目的主程序员MATT 希望把各种数据放到一个壶里,然后以一种指定的格式流出.Kettle这个ETL工具集,它允许你管理来自不同数据库的数据,通过提供一个图形化的用户环境来描述你想做什么,而不是你想怎么做.Kettle中有两种脚本文件,transformation和job,transformation完成针对

1.Java环境配置问题 java_home:D:\Program Files\Java\jdk1.7.0_25(安装jdk路径) classpath:.;%java_home%\lib\dt.jar;%java_home%\lib\tools.jar path:在path路径中添加%java_home%\bin;%java_home%\jre\bin; kettle_home:D:\Program Files\data-integration(安装kettle路径) 2.Java环境配置对了,

1.安装JDK 本人使用的JDK版本是1.8,且必须要在系统的环境变量添加路径. 2.下载Kettle 目前稳定的版本是8.2,但是本人使用的是7.1版本,其下载的URL为:https://sourceforge.net/projects/pentaho/files/Data%20Integration/ 3.将文件解压,点击Spoon.bat文件,启动kettle. 4.创建资源库 点击Connet,选择Pentaho Repository 注意: 1.在使用mysql进行连接测试的时候,一定

KETTLE4个工作中有用的复杂实例--2.两表数据比较,比较后自动同步(部门.单位数据同步) 二.两表数据比较核对,核对后自动同步至目标数据表 目标:比较t_bm表的数据和t_bm_target表的数据,以t_bm表为准,往t_bm_target中进行数据的自动同步: 1.为了给大家更直观的展示,[大喇叭玩转数据库]首先在数据库创建2张表,表结构如下: t_bm 部门单位表: t_bm_target 部门单位目标表: 1 -- Create table 2 create table T_BM

数据库中的数据在不同的数据库中转换来装换去,由于不同库可能使用了不同的字符集,所以可能导致结果数据乱码问题.此次是在一个作业中跑数据,跑完数据前台数据显示出现乱码,检查了作业中的多有中间过程表,包括表输入的预览,表中的数据都是正常的,可想而知,问题肯定是处在“表输入”到“表输出”这个中间的转换环节上,根据能想到的,应该是字符集问题,为了更有保障的“表输入”和“表输出”的字符集相同,所以在表输入输出中.都添加了字符集的配置参数characterEncoding,值为utf8, utf8  和  U

数据模型原型如下: 1.表输入,针对最新的数据输入的表 2.目标表,需要更新的表 3.两个表都需要进行排序操作 4.合并,根据id进行合并 5.数据同步(包括更新.插入.删除) 6.点击运行,就可以实现数据同步了.

kettle--window开发环境和linux运行环境的迁移 kettle的输入输出组件和脚本组件 kettle--变量的使用 kettle的资源库 kettle的job kettle的hello world 出处:http://www.cnblogs.com/dongdone/category/861657.html ================================================================================= KETTLE

初学kettle,使用kettle Spoon完成转换(ktr)或作业(kjb)的编写之后,执行作业可以在spoon中直接启动,因为我的需求是持续监控数据表的状态进行数据同步, 所以作业任务需要一直在运行状态,这样的话生产环境一直打开一个Spoon似乎也不太好,那么就先用脚本启动吧 kettle根目录有两个可执行bat文件:pan.bat是执行转换的(对应ktr文件),kitchen.bat是执行作业的(kjb文件) 1:运行cmd,进入kettle目录 D:\software\kettle\d

1.文件夹介绍 下载Kettle6.1解压后出现下图相关文件夹以及文件夹介绍说明: Lib:存放Kettle的核心(core)jar包.工作引擎(engine)jar包.数据库(DB) jar包.图形界面(UI) jar包. Plugins:存放Kettle自定义插件时,需要把自定义好的插件打成jar放在此目录. Docs:存放Kettle各种语言版本的API文档. Pwd:存放Kettle配置集群时所需要的配置文件与加密文件. Libswt:存放Kettle对应不同平台的相关UI jar包.

  1.情景展示 本地可以直接连接2个不同的远程数据库: 两个数据库由于网络不通,无法建立DBLINK完成数据传输: 将A库中C表的数据插入到B库中C表,如何快速实现? 2.解决方案 通过kettle可以实现, 准备工作: kettle工具的下载及将对应的数据库所需的jar包拷贝至其lib目录下 具体操作: 第一步:启动Spoon.bat文件: 第二步:建表输出: 选中“转换”-->右键-->新建-->输出-->表输出-->将其拖拽至右侧空白区域任意位置: 双击转换区域的“表