不多说,直接上干货! Kettle是什么? Kettle是一款国外开源的ETL工具,纯java编写,可以在Window.Linux.Unix上运行,绿色无需安装,数据抽取高效稳定. Kettle 中文名称叫水壶,该项目的主程序员MATT 希望把各种数据放到一个壶里,然后以一种指定的格式流出. Kettle这个ETL工具集,它允许你管理来自不同数据库的数据,通过提供一个图形化的用户环境来描述你想做什么,而不是你想怎么做. ETL,相信能来看我这篇博客的朋友,肯定都清楚这个概念了,ETL,是英文 E…

该kettle插件功能类似kettle现有的定义java类插件,自定java类插件主要是支持在kettle中直接编写java代码实现自定特殊功能,而本控件主要是将自定义代码转移到jar包,就是说自定义功能的实现改为在eclipse等ide中开发. 设计本插件的原因是直接在kettle中写java代码是很不容易的事,开发体验与eclipse差得远,java语法还要受到限制,调试麻烦.实现点简单的逻辑还行,稍微复杂一点就比较麻烦,需要对java和kettle相关接口很熟悉.而简单的功能可以采用jav…

不多说,直接上干货! kettle的下载 žKettle可以在http://kettle.pentaho.org/网站下载                   http://sourceforge.net/projects/pentaho/files/Data%20Integration/7.1/pdi-ce-7.1.0.0-12.zip/download   ž     kettle的安装   下载kettle压缩包,因kettle为绿色软件,解压缩到任意本地路径即可.   我这里,在D:\S…

不多说,直接上干货! 零基础学习hadoop,没有想象的那么困难,也没有想象的那么容易.从一开始什么都不懂,到能够搭建集群,开发.整个过程,只要有Linux基础,虚拟机化和java基础,其实hadoop并没有太大的困难.下面整理一下整个学习过程,给大家一个参考. 首先我们要了解hadoop是什么?Hadoop能够做什么?Hadoop的使用场景是什么?Hadoop和大数据.云计算的关系是什么?如何使用hadoop? 当大家对这些问题有了基本的了解之后,接下来我们就要系统性的学习hadoop了.我个…

不多说,直接上干货! 前期博客 PLSQL Developer概念学习系列之如何正确登录连接上Oracle(图文详解)   如用scott.scott_password进行登录,orcl是全局数据库 出现: (没有登录) -PL / SQL Developer ORA - 12541: TNS :无建听程序 解决办法: 重新配置监听程序. 然后在LISTENER文件里将HOST改为自己的IP 地址即可. 修改地方1:  DESKTOP-IOTFVUA是我的windows系统的主机名 修改地方2:…

不多说,直接上干货! 上一章讨论了paxos算法,把paxos推到一个很高的位置. Zookeeper概念学习系列之paxos协议 但是,paxos有没有什么问题呢?实际上,paxos还是有其自身的缺点的. 1. 活锁问题.在base-paxos算法中,不存在leader这样的角色,于是存在这样一种情况,即P1提交了一个proposal n1并且通过了prepare阶段:此时P2提交了一个proposal n2(n2>n1)并且也通过了prepare阶段:P1在commit时因为已经通过了n2而…

不多说,直接上干货! 初学者来说,肯定会有这么一个疑问.为什么会在zookeeper里牵扯到分布式事务? zookeeper到底是什么? zookeeper实际上是yahoo开发的,用于分布式中一致性处理的框架.最初其作为研发hadoop时的副产品.由于分布式系统中一致性处理较为困难,其他的分布式系统没有必要 费劲重复造轮子,故随后的分布式系统中大量应用了zookeeper,以至于zookeeper成为了各种分布式系统的基础组件,其地位之重要,可想而知.著名的hadoop,kafka,dubbo…

不多说,直接上干货! Pipeline 数据处理流水线 Pipeline将Source PCollection ParDo.Sink组织在一起形成了一个完整的数据处理的过程. Beam概念学习系列之PCollection数据集 Beam概念学习系列之PTransform数据处理…

不多说,直接上干货! PTransform数据处理 PTransform对PCollection进行并行处理,每次处理1条,例如Filter过滤.Groupby分组.Combine统计.Join关联等等,还允许根据业务逻辑编写ParDo.Apache Beam借鉴了函数式编程的不可变性,PTransform不会改变原始的数据集PCollection,而是生成一个新的PCollection.看起来似乎是低效的一种做法,但是带来了容易测试.容易优化.容易并行计算的好处. Beam概念学习系列之PCo…

不多说,直接上干货! Worker.Task.Executor三者之间的关系 Storm集群中的一个物理节点启动一个或者多个Worker进程,集群的Topology都是通过这些Worker进程运行的. 然而,Worker进程中又会运行一个或者多个Executor线程,每个Executor线程只运行一个Topology的一个组件(Spout或Bolt)的Task任务,Task又是数据处理的实体单元. Worker是进程,Executor对应于线程,Spout或Bolt是一个个的Task: 同一个W…