Flink Program Guide （4） -- 时间戳和Watermark生成（DataStream API编程指导 -- For Java）

时间戳和Watermark生成

本文翻译自Generating Timestamp / Watermarks

------------------------------------------------------------------

本文是Flink在使用事件时间(Event Time)时相关内容，有关事件时间、处理时间和提取时间的介绍，请见event time introduction。

流程序需要设置时间特征为Event time，才能在程序中使用事件时间。

final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime);

一、时间戳赋值

为了使事件时间可以正常使用，Flink需要知道时间的时间戳，即流中的每个element都需要被赋予它自己的时间戳。Flink通常会从element的一些域访问/提取时间戳（That happens usually by
accessing/extracting the timestamp from some field in the element.）。

时间戳的赋值通常与Watermark的生成紧密相关，其中Watermark生成负责通知系统事件时间的增长情况。

时间戳赋值和Watermark生成的方式有两种：

1.    直接在数据流源处进行

2.    通过一个Timestamp
assigner / watermark generator：在Flink中，Timestamp assigner同样会定义watermark的发送行为

注意：时间戳和Watermark都是使用从Java历元（epoch）
“1970-01-01 T00.00.00Z”开始的毫秒数定义的

1.1 带有时间戳和Watermark的Source方法

流的源可以在它们生产的element中直接赋值时间戳以及发送Watermark。在此情况下，我们不需要Timestamp
Assigner。

要在Source方法中向element直接赋值时间戳，Source方法必须在SourceContext上调用方法collectWithTimestamp(…)。要在Source中生成Watermark，Source必须调用emitWatermark(Watermark)方法。

在下例的（非检查点的）Source方法中，方法直接向element赋值时间戳，并且根据特殊事件生成Watermark：

@Override
public void run(SourceContext<MyType>
ctx) throws Exception {
　　while (/*
condition */) {
　　　　MyType
next = getNext();
　　　　 ctx.collectWithTimestamp(next,
next.getEventTimestamp());

　　　　if
(next.hasWatermarkTime())
{
　　　　　　ctx.emitWatermark(new
Watermark(next.getWatermarkTime()));
　　　　}
　　}
}

注意：如果流程序在已经拥有时间戳的流上继续使用TimestampAssigner，流中element的原有时间戳将被TimestampAssigner重写。类似地，Watermark也会同样被重写。

1.2 Timestamp Assigner / Watermark Generators

Timestamp
Assigner接收一个流并且产生一个带有时间戳赋值element和Watermark的新的流。如果原有的流已经拥有了时间戳或Watermark，则Timestamp
Assigner将会重写它们。

通常在紧接着数据源之后会定义Timestamp
Assigner，但这并不是严格要求的。例如在通用的模式中，会在Timestamp
Assigner之前进行parse(MapFunction)和filter(FilterFunction)操作。不论在什么情况下，Timestamp
Assigner都需要在第一个使用事件时间的Operation（如第一个窗口Operation）之前定义。而在流Job中使用Kafka作为数据源是一个特殊情况，Flink允许在数据源（或数据消费者consumer）内部定义Timestamp
Assigner和Watermark
emitter，更多相关信息请见Kafka Connector
documentation。

注意：本节余下内容呈现了一个开发者创建自己的Timestamp
Assigner 和 watermark
emitter所需要实现的主要接口。有关Flink自带的预先实现的extractor，请见Pre-defined Timestamp
Extractors / Watermark Emitters

final
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime);

DataStream<MyEvent>
stream = env.readFile(
　　myFormat, myFilePath, FileProcessingMode.PROCESS_CONTINUOUSLY,
100,
　　FilePathFilter.createDefaultFilter(),
typeInfo);

DataStream<MyEvent>
withTimestampsAndWatermarks = stream
　　.filter(
event -> event.severity()
== WARNING )
　　.assignTimestampsAndWatermarks(new
MyTimestampsAndWatermarks());

withTimestampsAndWatermarks
　　.keyBy( (event)
-> event.getGroup()
)
　　.timeWindow(Time.seconds(10))
　　.reduce( (a,
b) -> a.add(b)
)
　　.addSink(...);

周期性Watermark

AssignerWithPeriodicWatermark赋值时间戳并周期性生成（生成方式有可能是依靠流的element，或者纯粹基于处理时间）。

生成Watermark的时间周期区间（每n毫秒）的大小可以通过ExecutionConfig.setAutoWatermarkInterval(…)设置。每一次生成时，都将会调用Assigner的getCurrentWatermark()方法，如果返回的Watermark是非null且大于前一个Watermark，则会发送一个新的Watermark。

下面是两个生成周期性Watermark和Timestamp
Assigner的例子

/**
* This generator generates watermarks assuming that elements
come out of order to a certain degree only.
* The latest elements for a certain timestamp t will arrive at
most n milliseconds after the earliest
* elements for timestamp t.
*/
public class BoundedOutOfOrdernessGenerator extends
AssignerWithPeriodicWatermarks<MyEvent> {

private
final long maxOutOfOrderness = 3500;
// 3.5 seconds

private
long currentMaxTimestamp;

@Override
public long extractTimestamp(MyEvent
element, long previousElementTimestamp)
{
　　long timestamp = element.getCreationTime();
　　currentMaxTimestamp = Math.max(timestamp,
currentMaxTimestamp);
　　return timestamp;
}

@Override
public Watermark getCurrentWatermark()
{
　　// return the watermark as current highest timestamp minus the
out-of-orderness bound
　　return new Watermark(currentMaxTimestamp
- maxOutOfOrderness);
}

}

/**
* This generator generates watermarks that are lagging behind
processing time by a certain amount.
* It assumes that elements arrive in Flink after at most a
certain time.
*/
public class TimeLagWatermarkGenerator extends
AssignerWithPeriodicWatermarks<MyEvent> {

private
final long maxTimeLag = 5000;
// 5 seconds

@Override
public long extractTimestamp(MyEvent
element, long
previousElementTimestamp) {
        return element.getCreationTime();
}

@Override
public Watermark getCurrentWatermark()
{
        //
return the watermark as current time minus the maximum time lag
        return new Watermark(System.currentTimeMillis()
- maxTimeLag);
}

}

带标点（punctuated）Watermark

为了在某事件下就产生Watermark，我们需要使用AssignerWithPunctuatedWatermarks。在该类中，Flink会先调用extractTimestamp(…)方法来给element赋值一个时间戳，然后针对该element即刻调用checkAndGetNextWatermark(…)方法来返回一个非null的Watermark。

checkAndGetNextWatermark(…)方法将获得在extractTimestamp(…)方法中获得的时间戳，并决定是否生成Watermark。一旦checkAndGetNextWatermark(…)方法返回一个非null的Watermark，并且该Watermark大于最近的上一个Watermark，则发送该新的Watermark。

public
class PunctuatedAssigner extends
AssignerWithPunctuatedWatermarks<MyEvent> {

@Override
public long extractTimestamp(MyEvent
element, long
previousElementTimestamp) {
        return element.getCreationTime();
}

@Override
public Watermark checkAndGetNextWatermark(MyEvent
lastElement, long
extractedTimestamp) {
        return element.hasWatermarkMarker()
? new Watermark(extractedTimestamp)
: null;
}

}

注意：在每个事件上都生成一个Watermark是可能存在的，但是由于每个Watermark都会导致下游的计算开销，过多的Watermark会降低程序的性能