Kettle 4.2源码分析第二讲--Kettle插件结构体系简介

1. 插件体系结构 1.1. 插件技术原理 1.1.1. 插件概念说明插件是一种遵循统一的预定义接口规范编写出来的程序,应用程序在运行时通过接口规范对插件进行调用,以扩展应用程序的功能.在英文中插件通常称为plug-in.plugin或者plug in.插件最典型的例子是Eclipse开发平台,Microsoft的ActiveX控件和COM(Component Object Model,部件对象模型)实际上ActiveX控件不过是一个更高继承层次的COM而已.此外还有Photoshop…

Kettle 4.2源码分析第一讲--Kettle 简介

Pentaho Data Integration(PDI)简介 1. PDI结构简介图 1‑1 PDI核心组件 Spoon是构建ETL Jobs和Transformations的工具.Spoon可以以拖拽的方式图形化设计,能够通过spoon调用专用的数据集成引擎或者集群. Data Integration Server是一个专用的ETL Server,它的主要功能有: 功能描述执行通过Pentaho Data Integration引擎执行ETL的作业或转换安全性管理用户.角色或集成…

Kettle 4.2源码分析第三讲--Kettle 转换机制transformation介绍

转换机制每个转换步骤都是ETL数据流里面的一个任务.转换步骤包括输入.处理和输出.输入步骤从外部数据源获取数据,例如文件或者数据库:处理步骤处理数据流,字段计算,流处理等,例如整合或者过滤.输出步骤将数据写会到存储系统里面,例如文件或者数据库. 图 1 转换步骤示例 1. Step类图简介 Kettle为扩展插件提供了4个扩展点,这4个扩展点也是每个步骤的组成.每个类都有其特定的目的及扮演的角色.以TableInput为例,下图说明了这4个类的继承体系. 图 2 StepInterface继承…

Spring5源码分析(1)设计思想与结构

1 源码地址(带有中文注解)git@github.com:yakax/spring-framework-5.0.2.RELEASE--.git Spring 的设计初衷其实就是为了简化我们的开发基于 POJO 的轻量级和最小侵入性编程: 通过依赖注入和面向接口松耦合: 基于切面和惯性进行声明式编程: 通过切面和模板减少样板式代码: 而他主要是通过:面向 Bean(BOP).依赖注入(DI)以及面向切面(AOP)这三种方式来达成的. 面向Bean Spring 是面向Bean的编程(Bean O…

Kettle 4.2源码分析第四讲--KettleJob机制与Database插件简介（含讲解PPT）

1. Job机制一个job项代表ETL控制流中的一项逻辑任务.Job项将会顺序执行,每个job项会产生一个结果,能作为别的分支上job项的条件. 图 1 job项示例 1.1. Job类图简介图 2 Job entry类图结构 1.1.1. JobEntryInteface接口 JobEntryInterface是Job Entry插件的主要实现接口.主要包含以下功能: 1 保存Job Entry设置实现类使用私有变量保存设置的参数,通过get.set方法获取和设…

hdfs源码分析第二弹

以写文件为例,串联整个流程的源码: FSDataOutputStream out = fs.create(outFile); 1. DistributedFileSystem 继承并实现了FileSystem,该对象是终端用户和hadoop分布式文件系统交互的接口. 原文说明: /**************************************************************** * Implementation of the abstract FileSystem…

[Abp 源码分析]十二、多租户体系与权限验证

0.简介承接上篇文章我们会在这篇文章详细解说一下 Abp 是如何结合 IPermissionChecker 与 IFeatureChecker 来实现一个完整的多租户系统的权限校验的. 1.多租户的概念多租户系统又被称之为 Saas ,比如阿里云就是一个典型的多租户系统,用户本身就是一个租户,可以在上面购买自己的 ECS 实例,并且自己的数据与其他使用者(租户)所隔绝,两者的数据都是不可见的. 那么 Abp 是如何实现数据隔离的呢? 1.1 单部署-单数据库如果你的软件系统仅部署一个实例,…

ABP源码分析一：整体项目结构及目录

ABP是一套非常优秀的web应用程序架构,适合用来搭建集中式架构的web应用程序. 整个Abp的Infrastructure是以Abp这个package为核心模块(core)+15个模块(module).其中13个依赖于Abp这个核心包.另外两个包(FluentMigration,Web.Resources)相对独立 Abp.AutoMapper: 实现对象之间的自动映射. Abp.EntityFramework:通过EntityFramework实现数据访问层. Abp.FluentMigra…

spark 源码分析之十八 -- Spark存储体系剖析

本篇文章主要剖析BlockManager相关的类以及总结Spark底层存储体系. 总述先看 BlockManager相关类之间的关系如下: 我们从NettyRpcEnv 开始,做一下简单说明. NettyRpcEnv是Spark 的默认的RpcEnv实现,它提供了个Spark 集群各个节点的底层通信环境,可以参照文章 spark 源码分析之十二--Spark RPC剖析之Spark RPC总结做深入了解. MemoryManager 主要负责Spark内存管理,可以参照 spark 源码分析…

WebRTC源码分析四：视频模块结构

转自:http://blog.csdn.net/neustar1/article/details/19492113 本文在上篇的基础上介绍WebRTC视频部分的模块结构,以进一步了解其实现框架,只有了解了整体框架结构,对局部算法修改才能够胸有成竹. 一.对外接口对外接口有ViEBase,ViECapture,ViECodec,ViEEncryption,ViEFile,ViEImageProcess,ViENetwork,ViERender和ViERTP_RTCP.主要接口有: 1)ViEBa…

React Fiber源码分析第二篇（同步模式）

先附上两张流程图 1.scheduleRootUpdate 这个函数主要执行了两个操作 1个是创建更新createUpdate并放到更新队列enqueueUpdate, 1个是执行sheculeWork函数 function scheduleRootUpdate(current$$1, element, expirationTime, callback) { var update = createUpdate(expirationTime); update.payload = { eleme…

Spring IOC源码分析（一）：ApplicationContext体系结构设计之自底向上分析

spring-context包1. ApplicationContext接口 public interface ApplicationContext extends EnvironmentCapable, ListableBeanFactory, HierarchicalBeanFactory, MessageSource, ApplicationEventPublisher, ResourcePatternResolver 最顶层接口,通过继承BeanFactory接口的方法,定义了与Bean…

redis源码分析(五)--cluster(集群)结构

Redis集群 Redis支持集群模式,集群中可以存在多个master,每个master又可以拥有多个slave.数据根据关键字映射到不同的slot,每一个master负责一部分的slots,数据被存储在负责它的slot的master节点上.slave会同步它的master节点上的数据到本节点,当master节点挂掉时,slave可以上升为master节点继续服务,保障集群的完整性与可靠性. Redis集群中的每一个节点都拥有其它所有节点的信息,任意节点都知道客户端请求的数据被存储在哪一个mas…

Libev源码分析07：Linux下的eventfd简介

#include <sys/eventfd.h> int eventfd(unsigned int initval, int flags); eventfd创建一个eventfd对象,该对象可用于用户空间的程序实现事件等待.通知机制,也可用于由内核向用户空间的应用进行事件的通知.eventfd对象在内核中包含了一个计数器,该计数器是64位的无符号整数(uint64_t),该计数器由eventfd函数的initval参数进行初始化. 在Linux2.6.26之前的版本,flags参数是无用的,必…

Java集合源码分析（一）ArrayList

前言在前面的学习集合中只是介绍了集合的相关用法,我们想要更深入的去了解集合那就要通过我们去分析它的源码来了解它.希望对集合有一个更进一步的理解! 既然是看源码那我们要怎么看一个类的源码呢?这里我推荐的方法是: 1)看继承结构看这个类的层次结构,处于一个什么位置,可以在自己心里有个大概的了解. 2)看构造方法在构造方法中,看做了哪些事情,跟踪方法中里面的方法. 3)看常用的方法跟构造方法一样,这个方法实现功能是如何实现的注:既然是源码,为什么要这样设计类,有这样的继承关系.这就要说到设计…

Java集合源码分析（三）Vevtor和Stack

前言前面写了一篇关于的是LinkedList的除了它的数据结构稍微有一点复杂之外,其他的都很好理解的.这一篇讲的可能大家在开发中很少去用到.但是有的时候也可能是会用到的! 注意在学习这一篇之前,需要有多线程的知识: 1)锁机制:对象锁.方法锁.类锁对象锁就是方法锁:就是在一个类中的方法上加上synchronized关键字,这就是给这个方法加锁了. 类锁:锁的是整个类,当有多个线程来声明这个类的对象的时候将会被阻塞,直到拥有这个类锁的对象被销毁或者主动释放了类锁.这个时候在被阻塞住的线程被挑选…

Netty源码分析第2章(NioEventLoop)---->第1节: NioEventLoopGroup之创建线程执行器

Netty源码分析第二章: NioEventLoop 概述: 通过上一章的学习, 我们了解了Server启动的大致流程, 有很多组件与模块并没有细讲, 从这个章开始, 我们开始详细剖析netty的各个组件, 并结合启动流程, 将这些组件的使用场景及流程进行一个详细的说明这一章主要学习NioEventLoop相关的知识, 何为NioEventLoop? NioEventLoop是netty的一个线程, 在上一节我们创建两个NioEventLoopGroup: EventLoopGroup bos…

Netty源码分析第2章(NioEventLoop)---->第2节: NioEventLoopGroup之NioEventLoop的创建

Netty源码分析第二章: NioEventLoop 第二节: NioEventLoopGroup之NioEventLoop的创建回到上一小节的MultithreadEventExecutorGroup类的构造方法: protected MultithreadEventExecutorGroup(int nThreads, Executor executor, EventExecutorChooserFactory chooserFactory, Object... args) { //代…

Netty源码分析第2章(NioEventLoop)---->第4节: NioEventLoop线程的启动

Netty源码分析第二章: NioEventLoop 第四节: NioEventLoop线程的启动之前的小节我们学习了NioEventLoop的创建以及线程分配器的初始化, 那么NioEventLoop是如何开启的呢, 我们这一小节继续学习 NioEventLoop的开启方法在其父类SingleThreadEventExecutor中的execute(Runnable task)方法中, 我们跟到这个方法: @Override public void execute(Runnable ta…

Netty源码分析第2章(NioEventLoop)---->第6节: 执行select操作

Netty源码分析第二章: NioEventLoop 第六节: 执行select操作分析完了selector的创建和优化的过程, 这一小节分析select相关操作跟到跟到select操作的入口,NioEventLoop的run方法: protected void run() { for (;;) { try { switch (selectStrategy.calculateStrategy(selectNowSupplier, hasTasks())) { case SelectStr…

Netty源码分析第2章(NioEventLoop)---->第7节: 处理IO事件

Netty源码分析第二章: NioEventLoop 第七节:处理IO事件上一小节我们了解了执行select()操作的相关逻辑, 这一小节我们继续学习select()之后, 轮询到io事件的相关逻辑: 回到NioEventLoop的run()方法: protected void run() { for (;;) { try { switch (selectStrategy.calculateStrategy(selectNowSupplier, hasTasks())) { case Se…

LinkedList 源码分析(JDK 1.8)

1.概述 LinkedList 是 Java 集合框架中一个重要的实现,其底层采用的双向链表结构.和 ArrayList 一样,LinkedList 也支持空值和重复值.由于 LinkedList 基于链表实现,存储元素过程中,无需像 ArrayList 那样进行扩容.但有得必有失,LinkedList 存储元素的节点需要额外的空间存储前驱和后继的引用.另一方面,LinkedList 在链表头部和尾部插入效率比较高,但在指定位置进行插入时,效率一般.原因是,在指定位置插入需要定位到该位置处的节点…