Kettle学习系列之Kettle的起源

Kettle学习系列之kettle的下载、安装和初步使用（windows平台下）（图文详解）

不多说,直接上干货! kettle的下载 Kettle可以在http://kettle.pentaho.org/网站下载 http://sourceforge.net/projects/pentaho/files/Data%20Integration/7.1/pdi-ce-7.1.0.0-12.zip/download kettle的安装下载kettle压缩包,因kettle为绿色软件,解压缩到任意本地路径即可. 我这里,在D:\S…

Kettle学习系列之Kettle的起源

不多说,直接上干货! Kettle起源于十年以前,本世纪初.当时啊,ETL工具千姿百态,比较流行的工具有50个左右,ETL框架数量比工具还要多些. 根据这些工具的各自起源和功能可以分为以下4种类型,如图所示: ■ 快速代码修改(Quick Hacks ): 这类工具主要用于抽取数据和加载文本文件.很多这类工具现在仍在使用.“hacker”和“hacking”这样的词汇现在成了贬义词.商业智能本身比较复杂,在很多情况下quick hacks是项目成功与否的关键,而且能够节省时间和成本.这种qu…

Kettle学习系列之Kettle能做什么？（三）

不多说,直接上干货! PDI(Kettle) 都能做什么? 可以说凡是有数据整合.转换.迁移的场景都可以使用PDI,他代替了完成数据转换任务的手工编码,降低了开发难度. 同时,我们可以在自己实际业务里,使用它来实现数据的剖析.清洗.校验.抽取.转换和加载等各类常见的ETL类工作. 比如,除了ODS/DW类比较大型的应用外,Kettle实际还可以为中小企业提供灵活的数据抽取和数据处理的功能.Kettle除了支持各种关系型数据库,HBase MongoDB这样的NoSQL数据源外,它还支持Excel…

Kettle学习系列之数据仓库、数据整合、ETL、ELT和EII之间的区别？

不多说,直接上干货! 在数据仓库领域里,的一个重要概念就是数据整合(data intergration).数据整合它就是把不同数据库中的数据整合到一起,对外提供统一的数据视图. 数据整合最典型的案例就是整合存货数据和订单数据.数据整合的另一个案例就是把各个部门的客户关系管理系统中的客户信息整合到公司客户关系管理系统中. 数据整合是一个比ETL更加广泛的概念,ETL是指从一个或多个数据源抽取数据,经过一个或多个转换步骤后,物理地存储到目标环境中,目标环境通常是数据仓库. ETL是data inte…

Kettle 学习导航帖整理

最近在学习Kettle,期间收集了很多帖子,在此整理汇总以备后续查询或分享,如果有更好的学习资源也欢迎在评论区留言,谢谢. Kettle入门: Kettle简介:百度百科https://baike.baidu.com/item/Kettle/5920713?fr=aladdin Kettle下载:http://community.pentaho.com/projects/data-integration/ 常见ETL工具一览,你知多少?:http://www.itpub.net/forum.ph…

Kettle学习之Spoon简单使用

kettle学习之Spoon使用 2018-08-04 10:40:01 首先介绍两个博客入门: https://blog.csdn.net/zzq900503/article/details/78543778 https://blog.csdn.net/Install_/article/details/80252565 自己的安装过程: 1.下载安装:首先下载kettle,下载地址为http://kettle.pentaho.org,注意下载社区版,因为社区版是免费的!!!kettle是绿色软…

kettle的系列教程

kettle--window开发环境和linux运行环境的迁移 kettle的输入输出组件和脚本组件 kettle--变量的使用 kettle的资源库 kettle的job kettle的hello world 出处:http://www.cnblogs.com/dongdone/category/861657.html ================================================================================= KETTLE…

Kettle学习笔记（四）— 总结

目录 Kettle学习笔记(一)- 环境部署及运行 Kettle学习笔记(二)- 基本操作 kettle学习笔记(三)- 定时任务的脚本执行 Kettle学习笔记(四)- 总结 Kettle中设置编码格式如果处理的数据中有中文,需要对中文设置编码格式,一般是utf8格式,彻底的修改格式的方法就是,修改spoon.bat文件中增加如下信息:"-Dfile.encoding=UTF-8": Kettle中调整运行性能修改参数 Kettle默认的性能适用于普通的一般硬件,如果自己的电脑硬…

Kettle学习笔记（二）— 基本操作

目录 Kettle学习笔记(一)- 环境部署及运行 Kettle学习笔记(二)- 基本操作 kettle学习笔记(三)- 定时任务的脚本执行 Kettle学习笔记(四)- 总结打开Kettle 打开时间略长,请耐心等待. 常用的控件说明这里先对控件做下简单说明,方便后面使用. 通用控件通用--START:作业开始: 通用--作业:指定某个作业循环执行: 通用--转换:指定某个转换,加入到作业中来: 通用--设置变量:设置变量,为了转换或者作业中获取变量: 通用--成功:作业完成操作: 通用…

Kettle学习笔记（一）— 环境部署及运行

目录 Kettle学习笔记(一)-环境部署及运行 Kettle学习笔记(二)- 基本操作 kettle学习笔记(三)- 定时任务的脚本执行 Kettle学习笔记(四)- 总结 Kettle简介 Kettle是一款国外开源的ETL工具,纯java编写,可以在Windows.Linux.Unix上运行,s数据抽取高效稳定.Kettle 中文名称叫水壶,该项目的主程序员MATT 希望把各种数据放到一个壶里,然后以一种指定的格式流出.Kettle这个ETL工具集,它允许你管理来自不同数据库的数据,通过提…

kettle系列-[KettleUtil]kettle插件，类似kettle的自定义java类控件

该kettle插件功能类似kettle现有的定义java类插件,自定java类插件主要是支持在kettle中直接编写java代码实现自定特殊功能,而本控件主要是将自定义代码转移到jar包,就是说自定义功能的实现改为在eclipse等ide中开发. 设计本插件的原因是直接在kettle中写java代码是很不容易的事,开发体验与eclipse差得远,java语法还要受到限制,调试麻烦.实现点简单的逻辑还行,稍微复杂一点就比较麻烦,需要对java和kettle相关接口很熟悉.而简单的功能可以采用jav…

kettle系列-1.kettle源码获取与运行

第一次写博客,心里有点小激动,肯定有很多需要改进的地方,望海涵. kettle算是我相对较为深入研究过的开源软件了,也是我最喜欢的开源软件之一,它可以完成工作中很多体力劳动,在ETL数据抽取方面得到了广泛的使用.我本身对kettle的各个控件使用也不是很熟悉,只会使用最常见的部分控件,就是这样简单的使用也被它的美深深的吸引住了. 好了,进入正题,这里假设你熟悉java开发.git一般使用.kettle一般使用.kettle源码之前托管在kettle官方的svn上,后来迁移到了github上,在g…

kettle学习笔记（三）——kettle资源库、运行方式与日志

一.kettle资源库资源库是用来保存转换任务的,用户通过图形界面创建的的转换任务可以保存在资源库中. 资源库可以使多用户共享转换任务,转换任务在资源库中是以文件夹形式分组管理的,用户可以自定义文件夹名称. 1.ketle资源库元数据 • 资源库资源库包括文件资源库.数据库资源库 Kettle 4.0 以后资源库类型可以插件扩展 • XML 文件 .ktr 转换文件的XML的根节点必须是 <transformation>. kjb 作业XML的根节点是<job> 2.kettl…

ETL开源工具kettle学习笔记

一 Kettle配置与部署参考1:http://www.cnblogs.com/limengqiang/archive/2013/01/16/KettleApply1.html 1.下载kettle安装包 Kettle可以在http://kettle.pentaho.org/网站下载. 下载kettle压缩包,解压缩到任意本地路径. 2.安装和配置jdk 3.运行kettle 在windows中执行spoon.bat,在类unix系统中执行spoon.sh. 二 kettle文档教程官方教程…

kettle学习资料

1.kettle资源丰富:kettle中文网 http://www.kettle.net.cn/category/use?tdsourcetag=s_pctim_aiomsg…

Dubbo学习系列之八（分布式事务之MQ方案）

自从小王玩起了微服务,发现微服务果然很强大,好处真是太多,心中暗喜,然而,却也遇到了分布式中最棘手的问题:分布式事务.小王遍访各路神仙,也无个完美开源解决方案,当然,也有些实际可行的手法,虽不算完美,但也可拿来研究一番,那今天我们也来说说分布式事务. 分布式事务的起源,即因各服务是独立的,各自使用独立的DB,那本地事务可以保证事务式执行,但其他服务上关联的事务呢?之前Dubbo学习系列之六(微服务架构实战)项目中铺垫的最大bug在于:如果订单付款中异常,本地订单数据将会自动回滚,然而库存服务和物…

分布式学习系列【dubbo入门实践】

分布式学习系列[dubbo入门实践] dubbo架构组成部分:provider,consumer,registry,monitor: provider,consumer注册,订阅类似于消息队列的注册订阅一.环境安装 1.dubbo admin 管理控制台安装(Windows环境) #下载dubbo-admin-2.5.3.war,部署到tomcat下,根据需要编辑WEB-INF/dubbo.properties文件: dubbo.registry.address=zookeeper://12…

Entity Framework Code First学习系列目录

Entity Framework Code First学习系列说明:开发环境为Visual Studio 2010 + Entity Framework 5.0+MS SQL Server 2012,在数据库方面Entity Framework Code First在Entity Framework 5.0仅支持MS SQL Server数据库.在接下来的随笔中,均使用项目名称为Portal的控制台应用程序为例.具体的系统学习目录如下: 1. Entity Framework Code Firs…

WCF学习系列汇总

最近在学习WCF,打算把一整个系列的文章都”写“出来,包括理论和实践,这里的“写”是翻译,是国外的大牛写好的,我只是搬运工外加翻译.翻译的不好,大家请指正,谢谢了.如果觉得不错的话,也可以给我点赞,这样我翻译下去的动力就更足了~~~ 1. Beginning WCF - MUST HAVE WCF Basics - FAQs Series[WCF基础----问答系列教程] WCF Vs ASMX WCF Known Types WCF Contracts WCF Bindings Instanc…

EF（Entity Framework）系统学习系列

好久没写博客了,继续开启霸屏模式,好了,废话不多说,这次准备重新系统学一下EF,一个偶然的机会找到了一个学习EF的网站(http://www.entityframeworktutorial.net/).准备按照上面一点一点学,学习之路,贵在坚持,贵在持之以恒,这是我给自己的忠告,我不聪明,但我愿意花比别人更多的时间,来学习,相信总有一天,总会有守得花开见月明的那一天! EF学习系列: 1.基本的EF系列教程 [Basics of Entity Framework][EF基础系列1] EF是啥?[…

MVC学习系列4--@helper辅助方法和用户自定义HTML方法

在HTML Helper,帮助类的帮助下,我们可以动态的创建HTML控件.HTML帮助类是在视图中,用来呈现HTML内容的.HTML帮助类是一个方法,它返回的是string类型的值. HTML帮助类,分成三个类型: Inline HTML helpers[内联的HTML帮助类,例如@Html.Label等] Built-in HTML helpers[也就是嵌套的HTML帮助类,即@helper辅助方法] Custom HTML helpers[自定义的HTML帮助类] 在这里,我们学习第二种,…

YYKit学习系列 ---- 开篇

准备花半年时间系统学习YYKit, 学习过程会放入"YYKit学习系列"这个分类, 喜欢YYKit的可以随时留意我的文章, 一起学习!!!…

RabbitMQ学习系列（四）: 几种Exchange 模式

上一篇,讲了RabbitMQ的具体用法,可以看看这篇文章:RabbitMQ学习系列(三): C# 如何使用 RabbitMQ.今天说些理论的东西,Exchange 的几种模式. AMQP协议中的核心思想就是生产者和消费者隔离,生产者从不直接将消息发送给队列.生产者通常不知道是否一个消息会被发送到队列中,只是将消息发送到一个交换机.先由Exchange来接收,然后Exchange按照特定的策略转发到Queue进行存储.同理,消费者也是如此.Exchange 就类似于一个交换机,转发各个消息分发到相…