【源码解析】Flink 是如何基于事件时间生成Timestamp和Watermark
生成Timestamp和Watermark 的三个重载方法介绍可参见上一篇博客: Flink assignAscendingTimestamps 生成水印的三个重载方法
之前想研究下Flink是怎么处理乱序的数据,看了相关的源码,加上测试,发现得到了与预期完全不相同的结果。
预期是:乱序到达的数据,flink可以基于数据的事件时间,自动整理数据,依次计算输出
结果是:在assignTimestampsAndWatermarks(assigner: AssignerWithPeriodicWatermarks[T]): DataStream[T]指派timestamp和watermark的情况下,乱序到达的数据:迟到的数据直接从侧边输出了,超前的数据直接结束当前的窗口,开启超前数据对应的窗口,后面到达的正常数据,直接作为迟到数据处理了
在得到上面的结果的过程中,仔细的研究了一下生产Timestamp和Watermark相关的源码。
Flink DataStream API 目前只能通过 assignTimestampsAndWatermarks方法创建时间戳和水印有两种生成模式:
1、基于事件时间创建每个事件的Timestamp 和 基于事件时间周期性的创建Watermark(默认周期为200ms)
2、基于事件时间创建每个事件的Timestamp 和 基于事件时间每个事件都创建一个Watermark(如果新的Watermark大于当前的Watermark,才会发出)
事件时间下,事件的Timestamp的创建都是直接依赖于事件携带的事件时间,而Watermark则是基于事件时间生成Watermark,所以有周期性创建Watermark和标记的Watermark(With Punctuated Watermarks)的区分(官网中基于Kafka 的分区时间作为Watermark 也是周期性的生成Watermark,只不过传入的事件时间改为事件在kafka中的timestamp了)
1、周期性的创建Watermark
周期性的创建Watermark的有两种方法(kafka的分区时间的忽略):
assignTimestamps(extractor: TimestampExtractor[T]): DataStream[T]
assignTimestampsAndWatermarks(assigner: AssignerWithPeriodicWatermarks[T]): DataStream[T]
1.1 assignTimestamps(extractor: TimestampExtractor[T]): DataStream[T] 对应源码
调用方法如下:
.assignAscendingTimestamps(element => {
// 方便打断点debug
println("xxxxxx : " + element.createTime)
sdf.parse(element.createTime).getTime
})
周期性的创建Watermark 是在 TimestampsAndPeriodicWatermarksOperator 中生成、发出,对应的时间来源是调用不同的生成timestamp 和 Watermark 的实现类
TimestampsAndPeriodicWatermarksOperator 相应代码如下:
/*
处理事件元素: 获取对应的事件时间的时间戳,替换事件默认的时间戳(如果数据源是kafka,时间戳就是数据在kafka中的时间戳)
*/
@Override
public void processElement(StreamRecord<T> element) throws Exception {
final long newTimestamp = userFunction.extractTimestamp(element.getValue(),
element.hasTimestamp() ? element.getTimestamp() : Long.MIN_VALUE); output.collect(element.replace(element.getValue(), newTimestamp));
}
/*
处理时间(Watermark) : 获取当前时间对应的上一次的事件时间,生成新的watermark,新的watermark的时间戳大于当前的watermark,就发出新的watermark
*/
@Override
public void onProcessingTime(long timestamp) throws Exception {
// 从这里可以看到,每200ms 打印一次
System.out.println("timestamp : " + timestamp + ", system.current : " + System.currentTimeMillis());
// register next timer
Watermark newWatermark = userFunction.getCurrentWatermark();
if (newWatermark != null && newWatermark.getTimestamp() > currentWatermark) {
currentWatermark = newWatermark.getTimestamp();
// emit watermark
output.emitWatermark(newWatermark);
} long now = getProcessingTimeService().getCurrentProcessingTime();
// 注册timer ,周期性的调用,下面会展开
getProcessingTimeService().registerTimer(now + watermarkInterval, this);
}
在这种生成timestamp 和 Watermark 的情况下,userFunction 对应的类是:AscendingTimestampExtractor
对应源码如下:
@Override
public final long extractTimestamp(T element, long elementPrevTimestamp) {
// 调用 assignAscendingTimestamps 的参数函数
final long newTimestamp = extractAscendingTimestamp(element);
if (newTimestamp >= this.currentTimestamp) {
// 这是为了下面生成Watermark的方法,总能得到 大于等于 当前Watermark的 时间戳
this.currentTimestamp = newTimestamp;
return newTimestamp;
} else {
violationHandler.handleViolation(newTimestamp, this.currentTimestamp);
return newTimestamp;
}
} @Override
public final Watermark getCurrentWatermark() {
return new Watermark(currentTimestamp == Long.MIN_VALUE ? Long.MIN_VALUE : currentTimestamp - 1);
}
timestamp的生成: TimestampsAndPeriodicWatermarksOperator#processElement 方法,调用AscendingTimestampExtractor#extractTimestamp 再调用 用户代码中具体生成timestamp 的方法,最终生成事件对应的timestamp,替换原有的timestamp
Watermark的生成:TimestampsAndPeriodicWatermarksOperator#onProcessingTime 方法,调用 AscendingTimestampExtractor#getCurrentWatermark, 返回生成timestamp 时的 currentTimestamp -1 ,生成 Watermark,如果生成的Watermark的timestamp 大于当前的 Watermark的timestamp 就发出新的Watermark
1.2 assignTimestampsAndWatermarks(assigner: AssignerWithPeriodicWatermarks[T]): DataStream[T]
调用方法如下:
.assignTimestampsAndWatermarks(new BoundedOutOfOrdernessTimestampExtractor[LateDataEvent](Time.milliseconds(50)) {
override def extractTimestamp(element: LateDataEvent): Long = {
println("current timestamp : " + sdf.parse(element.createTime).getTime)
sdf.parse(element.createTime).getTime
}
})
在这种生成timestamp 和 Watermark 的情况下,userFunction 对应的类是:BoundedOutOfOrdernessTimestampExtractor
对应源码
@Override
public final Watermark getCurrentWatermark() {
// this guarantees that the watermark never goes backwards.
long potentialWM = currentMaxTimestamp - maxOutOfOrderness;
if (potentialWM >= lastEmittedWatermark) {
lastEmittedWatermark = potentialWM;
}
return new Watermark(lastEmittedWatermark);
} @Override
public final long extractTimestamp(T element, long previousElementTimestamp) {
long timestamp = extractTimestamp(element);
if (timestamp > currentMaxTimestamp) {
// 这是为了上面上次Watermark的方法总能获取到 大于等于 当前Watermark的时间戳
currentMaxTimestamp = timestamp;
}
return timestamp;
}
基本上与上面相同,只是这种情况下,生成Watermark会 减去相应的 maxOutOfOrderness (允许延迟时间,就是代码中BoundedOutOfOrdernessTimestampExtractor对应的参数)
之所以说是周期性的,是因为生成Watermark的方法是周期性调用的:
// 注册timer 定期执行
getProcessingTimeService().registerTimer(now + watermarkInterval, this); // 对应 watermarkInterval 来自与系统配置
watermarkInterval = getExecutionConfig().getAutoWatermarkInterval(); // 对应配置, 默认 200ms
env.getConfig.setAutoWatermarkInterval(400)
看代码可知,生成timestamp和Watermark是两条线,timestamp 是每个事件消息都会生成,而Watermark 是周期的
2、标记的Watermark(With Punctuated Watermarks)
这种Watermark的生成只有一种,对应代码如下:
.assignTimestampsAndWatermarks(new AssignerWithPunctuatedWatermarks[LateDataEvent]() {
// check extractTimestamp emitted watermark is non-null and large than previously 生成当前事件的Watermark
override def checkAndGetNextWatermark(lastElement: LateDataEvent, extractedTimestamp: Long): Watermark = {
new Watermark(extractedTimestamp)
} // generate next watermark 生成当前事件的timestamp
override def extractTimestamp(element: LateDataEvent, previousElementTimestamp: Long): Long = {
val eventTime = sdf.parse(element.createTime).getTime
eventTime
}
})
对应上面生成添加时间戳到事件中和发出Watermark 在 TimestampsAndPunctuatedWatermarksOperator中具体如下:
@Override
public void processElement(StreamRecord<T> element) throws Exception {
final T value = element.getValue();
// extractTimestamp 方法就是assignTimestampsAndWatermarks 中的 extractTimestamp 生成事件的时间戳
final long newTimestamp = userFunction.extractTimestamp(value,
element.hasTimestamp() ? element.getTimestamp() : Long.MIN_VALUE); output.collect(element.replace(element.getValue(), newTimestamp));
// checkAndGetNextWatermark 方法就是assignTimestampsAndWatermarks 中的 checkAndGetNextWatermark,检查Watermark
final Watermark nextWatermark = userFunction.checkAndGetNextWatermark(value, newTimestamp);
// 新的Watermark大于当前的Watermark才会发出
if (nextWatermark != null && nextWatermark.getTimestamp() > currentWatermark) {
currentWatermark = nextWatermark.getTimestamp();
output.emitWatermark(nextWatermark);
}
}
这里可以看出,每条数据都会生成 tiemstamp 和 Watermark(不一定会发出,如果数据都是正常的,Watermark的消息会和事件的消息一样多,所以会影响性能)
搞定。
欢迎关注Flink菜鸟公众号,会不定期更新Flink(开发技术)相关的推文
【源码解析】Flink 是如何基于事件时间生成Timestamp和Watermark的更多相关文章
- Flink 源码解析 —— Flink JobManager 有什么作用?
JobManager 的作用 https://t.zsxq.com/2VRrbuf 博客 1.Flink 从0到1学习 -- Apache Flink 介绍 2.Flink 从0到1学习 -- Mac ...
- Flink 源码解析 —— Flink TaskManager 有什么作用?
TaskManager 有什么作用 https://t.zsxq.com/RZbu7yN 博客 1.Flink 从0到1学习 -- Apache Flink 介绍 2.Flink 从0到1学习 -- ...
- [源码解析] Flink的groupBy和reduce究竟做了什么
[源码解析] Flink的groupBy和reduce究竟做了什么 目录 [源码解析] Flink的groupBy和reduce究竟做了什么 0x00 摘要 0x01 问题和概括 1.1 问题 1.2 ...
- [源码解析] Flink UDAF 背后做了什么
[源码解析] Flink UDAF 背后做了什么 目录 [源码解析] Flink UDAF 背后做了什么 0x00 摘要 0x01 概念 1.1 概念 1.2 疑问 1.3 UDAF示例代码 0x02 ...
- [源码解析] Flink的Slot究竟是什么?(1)
[源码解析] Flink的Slot究竟是什么?(1) 目录 [源码解析] Flink的Slot究竟是什么?(1) 0x00 摘要 0x01 概述 & 问题 1.1 Fllink工作原理 1.2 ...
- [源码解析] Flink的Slot究竟是什么?(2)
[源码解析] Flink 的slot究竟是什么?(2) 目录 [源码解析] Flink 的slot究竟是什么?(2) 0x00 摘要 0x01 前文回顾 0x02 注册/更新Slot 2.1 Task ...
- 谷歌BERT预训练源码解析(一):训练数据生成
目录预训练源码结构简介输入输出源码解析参数主函数创建训练实例下一句预测&实例生成随机遮蔽输出结果一览预训练源码结构简介关于BERT,简单来说,它是一个基于Transformer架构,结合遮蔽词 ...
- 源码解析-Abp vNext丨分布式事件总线DistributedEventBus
前言 上一节咱们讲了LocalEventBus,本节来讲本地事件总线(DistributedEventBus),采用的RabbitMQ进行实现. Volo.Abp.EventBus.RabbitMQ模 ...
- 【源码解析】Flink 是如何处理迟到数据
相信会看到这篇文章的都对Flink的时间类型(事件时间.处理时间.摄入时间)和Watermark有些了解,当然不了解可以先看下官网的介绍:https://ci.apache.org/projects/ ...
随机推荐
- windows 使用SVN命令
在不用安装TortoiseSVN客户端的情况,大家可以再http://subversion.apache.org/packages.html#windows 找到windows下的svn客户端工具.选 ...
- Dubbo源码分析:Dubbo协议解码
Dubbo协议解码时序图
- 织梦个人空间中调用ip,会员类型,邮箱,金币,会员积分
织梦个人空间中调用.用户昵称,最后登录,会员等级 ,会员头衔,会员积分,空间访问,邮箱地址 ,金币数量,会员组的有效期天数 ,升级会员组的时间 ,用户的等级,用户的性别 ,会员的类型,ip 第一步确定 ...
- [TypeScript] Optional Chaining with TypeScript 3.7
TypeScript 3.7 adds support for optional chaining. This lesson shows you how to use it in your code ...
- centOS下实践查询版本/CPU/内存/硬盘容量等硬件信息
更详细参考: https://blog.csdn.net/dream_broken/article/details/52883883 1.查看内存 DirectMap2M: 33544192 kB [ ...
- 常见的 eslint 基本报错信息
Missing semicolon 缺少分号 Missing space before opening brace 左大括号前缺少空格 Trailing spaces not allowed 不允许尾 ...
- mac 安装cmake
下载:https://cmake.org/download/ 下载完成后,双击安装 安装完成后,打开命令行,运行 bogon:~ macname$ sudo "/Applications/C ...
- jquery中清空
jQuery("#map_bmmc").empty(); function qingkong(){ $("#form1").find(&qu ...
- Open vSwitch系列实验(三):Open vSwitch的VxLAN隧道网络实验
1 实验目的 该实验通过Open vSwitch构建Overlay的VxLAN网络,更直观的展现VxLAN的优势.在实验过程中,可以了解如何建立VxLAN隧道并进行配置,并实现相同网段和不同网段之间的 ...
- element-ui表格显示html格式
<el-table-column type="String" label="内容" prop="tpl" width="58 ...