Flink学习之路（一）Flink简介

一、什么是Flink?

Apache Flink是一个面向分布式数据流处理和批量数据处理的开源计算平台，提供支持流处理和批处理两种类型应用的功能。

二、Flink特点

1、现有的开源计算方案，会把流处理和批处理作为两种不同的应用类型：流处理一般需要支持低延迟、Exactly-Once保证，而批处理一般要支持高吞吐、高效处理

2、Flink是完全支持流处理，也就是说作为流处理看待时输入数据流是无界的；而批处理被作为一种特殊的流处理，只是它的输入数据流被定义为有界的。

技术特点：

1、流处理特性

支持高吞吐、低延迟、高性能的流处理

支持带有事件时间的窗口操作

支持有状态计算 的Exactly-Once语义

支持高度灵活的窗口操作，支持基于time、count、session，以及data-driver的窗口操作

支持具有Backpressure功能的持续六模型

支持基于轻量级分布式快照(Snapshot)实现的容错

支持迭代计算

支持程序自动优化：避免特点情况下Shuffle、排序等操作，中间结果有必要进行缓存

Flink在JVM内部实现了自己的内存管理

2、API支持

对Streaming数据类应用，提供DataStream API

对批处理类应用，提供DataSet API

3、Libraries支持

支持机器学习（FlinkML）

支持图分析(Gelly)

支持关系数据处理(Table)

支持复杂事件处理(CEP)

Flink系统的关键能力

1、低延时：提供ms级延时的处理能力

2、Exactly Once语义：提供异步快照机制，保证所有数据真正只处理一次

3、HA：JobManager支持主备模式，保证无单点故障

4、水平扩展能力：TaskManager支持手动水平扩展

三、Flink技术栈

1、从部署上讲，Flink支持Local模式、集群模式（standalone模式或者Yarn模式）、云端部署（GCE、EC2）

2、Runtime是主要的数据处理引擎，它以JobGraph形式的API接收程序。JobGraph是一个简单的并行数据流，包含一些列的tasks,每个task包含了输入和输出（source和sink例外）。

3、DataStream API和DataSet API分别是流处理和批处理的应用程序接口，当程序编译时，生成JobGraph。编译完成后，根据API的不同，优化器（批或流）会生成不同的执行计划。根据不同的部署方式，优化后的JobGraph被提交给executors去执行。

四、Flink架构

Flink整个系统包含三个部分：

1、Client：

给用户提供向Flink系统提交用户任务（流式作业）的能力。用户提交一个Flink程序时，会首先创建一个Client，该Client首先会对用户提交的Flink程序进行预处理，并提交到Flink集群。

Client会将用户提交的Flink程序组装成一个JobGraph，并且是以JobGraph的形式提交的。

2、TaskManager：

业务执行节点，执行具体用户任务。TaskManager可以有多个，各个TaskManager都平等。

实际负责执行计算的Worker，在其上执行Flink Job的一组Task。

负责管理其所在节点上的资源信息，如内存、磁盘、网络等，在启动的时候将资源状态向JobManager汇报。

3、JobManager：

管理节点，管理所有的TaskManager，并决策用户任务在哪些TaskManager上执行。

Master进程，Flink系统的协调者，它负责接收Flink Job及Job的管理和资源的协调，包括任务调度，检查点管理，失败恢复、调度组成Job的多个Task执行等。

对于集群为HA模式，可以同时多个master进程，其中一个作为leader，其他作为standby。当leader失败时，会选出一个standby的master作为新的leader（通过zookeeper实现leader选举）

分布式执行：

1、Flink程序提交给JobClient

2、JobClient再提交给JobManager

3、JobManager负责资源的协调和Job的执行

4、待资源分配完成，task就会分配到不同的TaskManager，TaskManager会初始化线程去执行task

5、根据程序的执行状态向JobManager反馈，执行的状态包括starting、in progress、finished以及canceled和failling等等

6、当Job执行完成，结果会返回给客户端

五、其他常用概念

1、Source

Flink系统源数据输入。

可以使用readTextFile(String path)来消费文件中的数据作为流数据的来源，默认情况下的格式是TextInputFormat。也可以通过readFile(FileInputFormat inputFormat,String path)来指定FileInputFormat的格式。

2、Transformation

Transformation允许将数据从一种形式转换为另一种形式，输入源可以是一个也可以是多个，输出则可以是0个、1个或者多个。例如以下Transformations：

Map：输入一个元素，输出一个元素。

FlatMap：输入一个元素，输出0个、1个或多个元素。

Filter：条件过滤使用。

KeyBy：逻辑上按照Key分组，内部使用hash函数进行分组，返回KeyedDataStream。

Reduce：KeyedStream流上，将上一次reduce的结果和本次的进行操作。

Fold：在KeyedStream流上的记录进行连接操作。

Aggregation：在keyedStream上应用类型min、max等聚合操作。

Window：消息流的分段即称为窗口，最常见的就是时间窗口。

　　　　我们可以将流切分到有界的窗口中去处理，根据指定的key，切分为不同的窗口。我们可以使用Flink预定义的窗口分配器。当然你也可以通过继承WindowAssginer自定义分配器。

下面看看有哪些预定义的分配器。

　　　　1.          Global windows：Global window的范围是无限的，你需要指定触发器来触发窗口。通常来讲，每个数据按照指定的key分配到不同的窗口中，如果不指定触发器，则窗口永远不会触发。

　　　　2.          Tumbling Windows：基于特定时间创建，大小固定，窗口间不会发生重合。例如你想基于event timen每隔10分钟计算一次，这个窗口就很适合。

　　　　3.          Sliding Windows：大小也是固定的，但窗口之间会发生重合，例如你想基于event time每隔1分钟，统一过去10分钟的数据时，这个窗口就很适合。

　　　　4.          Session Windows：允许我们设置一个gap时间，来决定在关闭一个session之前，我们要等待多长时间，是衡量用户活跃与否的标志。

WindowAll：WindowAll操作不是基于keu的，是对全局数据进行的计算。由于不基于key，因此是非并行的，即并行度为1，在使用时性能会受到影响。

Union：Union功能就是在2个或多个DataStream上进行连接，成为一个新的DataStream。

Join：Join运行在2个DataStream上基于相同的key进行连接操作，计算的范围也是要基于一个Window进行

Split：Split的功能是根据某些条件将一个流切分为2个或多个流

Select：DataStream根据选择的字段，将流转换为新的流

Project：project功能运行你选择流中的一部分元素作为新的数据流中的字段，相当于做个映射。

3、Sink

数据结果输出。将结果数据输出到不同的地方，Flink提供了以下一些选择：

1、writeAsText()：将结果以字符串的形式一行一行写到文本文件中

2、writeAsCsv()：保存为csv格式

3、print() / printErr()：标准输出或错误输出。输出到Terminal或者out文件

4、writeUsingOutputFotmat()：自定义输出格式，需要考虑序列化与反序列化

5、writeUsingOutputFormat()：也可以输出到socket，但是你需要定义SerializationSchema。

4、DataStream

Flink中的DataStream程序是实现数据流转换的常规程序（例如，过滤，更新状态，定义窗口，聚合）。

最初从各种源（例如，消息队列，套接字流，文件）创建数据流。结果通过接收器返回，接收器可以例如将数据写入文件或标准输出（例如命令行终端）

5、物理切片

Flink允许我们在流上执行物理分片，当然我们也可以选择自定义partitionning

1、自定义partitioning：根据某个具体的key，将DataStream中的元素按照key重新进行分片，将相同的元素聚合到一个线程中执行。

2、随机partitioning：不根据具体的key，而是随机将数据打散。

3、Rebalancing partitioning：内部使用round robin方法将数据均匀打散。这对于数据倾斜时是很好的选择。广播用于将dataStream所有数据发到每一个partition.