kettle菜鸟学习笔记1----相关准备知识

最近导师让给师弟师妹做个关于kettle的培训，瞬间囧了，kettle我也只是简单学过，连皮毛都算不上，而且，上次使用kettle已然是去年的事了……

没办法，只好重新学习下，好在之前写了几个文档，也留下了几行代码，想想还是放到博客上，以后自己查看也比较方便。

数据清洗：

数据清洗是指发现并纠正数据文件中可识别的错误，包括检查数据一致性，处理无效值和缺失值等。

从这个技术的名称简单理解，就是把脏的数据洗掉(丢弃)，或者洗干净(修正)。

如同大象放进冰箱，一般来说数据清洗也可以分为三步：

ETL：Extract-Transform-Load。这其实描述了构建数据仓库的三个环节：数据抽取、数据转换、数据装载。

但是通常认为，数据清洗指的仅仅是数据转换这一环节。

Kettle：

开源的ETL工具，纯java编写。

Kettle 中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出。

下载及相关使用帮助，可访问：http://community.pentaho.com/projects/data-integration/

有兴趣研究kettle源码的，可以下载kettle源码：

SVN地址：svn://source.pentaho.org/svnkettleroot

注：SVN上只有5.0及之前的版本，之后迁移到github

GIT地址：https://github.com/pentaho/pentaho-kettle/

有兴趣进行kettle二次开发的，可能会用到

在线帮助手册：http://javadoc.pentaho.com/kettle/