理解Flink之二Window与Watermark

Flnk作为流式计算平台，他能对源源不断发送过来的数据进行处理。

对于数据流的处理方式，可以是来一条处理一条（pipeline的方式），还可以获取一些数据然后统一处理。

对于数据流如何描述一堆数据呢？就是通过Window的概念。

Window

Window翻译为窗口，相当于将流式数据进行逻辑切割，那么可以将Window内的数据看成一个整体。我们就可以对Window内的数据进行聚合、排序等操作。

对于流式数据来说，划分Window的方式必然和Time有关。在Flink中Window分为两种TimeWindow和GlobalWindow。TimeWindow包含起始时间，GlobalWindow是没有结束时间的TimeWindow。其实你也可以理解为只有一种Window。

划分Window不是目的，目的是能对Window中的数据进行处理。

那么，我们需要知道Window中的数据什么时候采集结束？所以在Window的操作中需要设置trigger，当Window中的数据满足某个条件时触发trigger，表示Window中的数据已经采集完了，开始下面的计算吧。

方式可以有：

CountTrigger window中事件数量达到某个值时触发计算
EventTimeTrigger window中包含某个时间点的事件时触发计算

...

对于，数据到底应该进入哪个Window（有可能一条数据可以进入多个Window）？Flink中通过设置WindowAssigner来实现。其实就是如何划分时间轴。

GlobalWindows 表示整个流为一个整体的Window
TumblingEventTimeWindows 表示两两Window紧密相连
SlidingEventTimeWindows 表示有交集的Window

...

Flink中还为Window添加了一种操作，当触发计算后，你可以删除Window中的某些事件。这个需求可以通过设定Evictor来实现。

这就是Flink中对于Window的操作。

Watermark

那Watermark的作用呢？

在流式数据中日志不断的进入Flink系统，在Flink中定义了三种时间：EventTime、IngestTime、ProcessTime。

EventTime 表示日志中自带的时间
IngestTime 表示日志进入Flink系统的时间
ProcessTime 表示Flink处理日志的时间

在上面Window中说道，Window是基于时间对日志进行逻辑切割，那么时间以什么为基准呢？在Flink系统中可以通过设置上述的时间来确定基准时间，默认是ProcessTime。

虽然有三种时间但是EventTime和IngestTime/ProcessTime有一个很大的区别，对于Flink系统来说IngestTime/ProcessTime一定是有序的，而EventTime而不一定（大概率是乱序的）。

那么当我们以EventTime为基准来分割Window时，则可能就会出现原本是Window A中的数据，而在Window D时才进入Flink系统（认为在时间上Window A比Window D早）。

如果我们希望晚到的数据也能进入在本来应该进入的Window A中去呢？这时候Flink设计了Watermark来解决这个问题。

Watermark实现的功能是用户通过设置Watermark的生成规则来手工的指定何时触发Window计算。

常用的方式是让Watermark延时一段时间生成。这也可以将Window之外的一部分日志也计入该Window。但是，这个预估的延时不能完美的解决乱序的问题。

所以Watermark是在当基准时间设置为EventTime时解决日志乱序的工具。

引用