Flink窗口
一、窗口介绍
1.1 Window:时间窗口
滚动窗口(Tumbling Window)将事件拆分成固定长度,窗口之间不重叠,窗口长度固定
例:每10s统计过去10s订单数据

滑动窗口(Sliding Window)按照滑动步长拆分成固定长度,窗口长度固定。根据指定步长(Slide)向前滑动,步长小于窗口则窗口间重叠。
例:每10s统计过去10分钟 订单数据

会话窗口(Session Window)两个窗口之间有一个间隙(Session Gap),大于间隙没收到消息,则该窗口关闭,窗口不重叠
1.2 数量窗口(Count Windows)
按照一定的数据量作为窗口统计
二、窗口使用
2.1 使用方式
有keyBy ⽤ window() api
没keyBy ⽤ windowAll() api ,并⾏度低

2.2 窗⼝分配器 Window Assigners
定义了如何将元素分配给窗⼝,负责将每条数据分发到正确的window窗⼝上
window() 的参数是⼀个 WindowAssigner,flink本身提供了Tumbling、Sliding 等Assigner
2.3 窗⼝触发器 trigger
⽤来控制⼀个窗⼝是否需要被触发
每个窗⼝分配器WindowAssigner 都有⼀个默认触发器,也⽀持⾃定义触发器
2.4 窗⼝ window function ,对窗⼝内的数据做啥
IN是输⼊类型,ACC是中间聚合状态类型,OUT是输出类型,是聚合统计当前窗⼝的数据
2.5 全窗⼝函数
apply(new processWindowFunction(){ })
描述:窗⼝先缓存该窗⼝所有元素,等窗⼝的全部数据收集起来后再触发条件计算
常⻅的全窗⼝聚合函数 windowFunction(未来可能弃⽤)、processWindowFunction(可以获取到窗⼝上下⽂ 更多信息)
WindowFunction<IN, OUT, KEY, W extends Window>
IN是输⼊类型,OUT是输出类型,KEY是分组类型,W是时间窗
如果想处理每个元素更底层的API的时候⽤,process(new KeyedProcessFunction() {processElement、onTimer})
2.6 其它知识点
一个窗口内是左闭右开
timeWindow在1.12版本过期,统⼀使⽤window。countWindow没过期
Flink窗口的更多相关文章
- 第08讲:Flink 窗口、时间和水印
Flink系列文章 第01讲:Flink 的应用场景和架构模型 第02讲:Flink 入门程序 WordCount 和 SQL 实现 第03讲:Flink 的编程模型与其他框架比较 第04讲:Flin ...
- Flink窗口介绍及应用
Windows是Flink流计算的核心,本文将概括的介绍几种窗口的概念,重点只放在窗口的应用上. 本实验的数据采用自拟电影评分数据(userId, movieId, rating, timestamp ...
- flink窗口分类
窗口分类 按照驱动类型分类 窗口本身是截取有界数据的一种方式,所以窗口一个非常重要的信息就是"怎样截取数据".换句话说,就是以什么标准来开发和结束数据的截取. 按照驱动类型分类主要 ...
- 《从0到1学习Flink》—— 介绍Flink中的Stream Windows
前言 目前有许多数据分析的场景从批处理到流处理的演变, 虽然可以将批处理作为流处理的特殊情况来处理,但是分析无穷集的流数据通常需要思维方式的转变并且具有其自己的术语(例如,"windowin ...
- Flink初探-为什么选择Flink
本文主要记录一些关于Flink与storm,spark的区别, 优势, 劣势, 以及为什么这么多公司都转向Flink. What Is Flink 一个通俗易懂的概念: Apache Flink 是近 ...
- 阿里重磅开源全球首个批流一体机器学习平台Alink,Blink功能已全部贡献至Flink
11月28日,Flink Forward Asia 2019 在北京国家会议中心召开,阿里在会上发布Flink 1.10版本功能前瞻,同时宣布基于Flink的机器学习算法平台Alink正式开源,这也是 ...
- Flink去重统计-基于自定义布隆过滤器
一.背景说明 在Flink中对流数据进行去重计算是常有操作,如流量域对独立访客之类的统计,去重思路一般有三个: 基于Hashset来实现去重 数据存在内存,容量小,服务重启会丢失. 使用状态编程Val ...
- 一文搞懂Flink Window机制
Windows是处理无线数据流的核心,它将流分割成有限大小的桶(buckets),并在其上执行各种计算. 窗口化的Flink程序的结构通常如下,有分组流(keyed streams)和无分组流(non ...
- 第05讲:Flink SQL & Table 编程和案例
Flink系列文章 第01讲:Flink 的应用场景和架构模型 第02讲:Flink 入门程序 WordCount 和 SQL 实现 第03讲:Flink 的编程模型与其他框架比较 第04讲:Flin ...
- 第06讲:Flink 集群安装部署和 HA 配置
Flink系列文章 第01讲:Flink 的应用场景和架构模型 第02讲:Flink 入门程序 WordCount 和 SQL 实现 第03讲:Flink 的编程模型与其他框架比较 第04讲:Flin ...
随机推荐
- vue之slot和slot-scope
插槽分两类,默认插槽和具名插槽:通俗理解就是默认插槽是没有名称的插槽,具名插槽是有名称的插槽. 何时使用插槽?简单的举个栗子:有2个组件,父组件father,子组件son. 父组件 father &l ...
- Git之配置多SSH-KEY
现存账号类型: gitee账号,国产github,码云值得拥有 github账号,全球最大同性交友网站 gitlab账号,公司内部的工作开发 解决方案 解决办法很简单,新建一个config文件就可以了 ...
- 站点监控工具之uptime-kuma
github: https://github.com/louislam/uptime-kuma [安装] docker: docker run -d --restart=always -p 3001: ...
- 终端工具之Tabby
我工作中用的最多的工具之一就是「终端连接工具」了,因为经常和 Linux 服务器打交道,经常在上面跑代码.排查系统问题等等. Windows 系统最常用的就是 Xshell 这款终端工具了,但是它只能 ...
- 根据Xml节点名获取Xpath
我们经常使用Xpath去获取Xml中某个节点的值,但是有时候我们需要反过来,根据Xml的节点名来获取对应的Xpath. 找了一下,几乎所有的Xml库都没有提供类似的功能,这里我们就简单说一说这玩意咋实 ...
- Vue CLI中views和components文件夹的区别
首先,src/components和文件夹src/views都包含Vue组件. 关键区别在于某些Vue组件充当路由视图. 在Vue中(通常是Vue Router)处理路由时,将定义路由以切换组件中使用 ...
- 树莓派获取唯一ID
树莓派的CPU有序列号,可以通过读取 /proc/cpuinfo 获取 储存的UUID,可以通过 ls /dev/disk/by-uuid或blkid
- 腾讯云 TStor 私有云存储获统信+海光/兆芯官方认证
腾讯云 TStor 是一款分布式存储产品,致力于解决私有云.混合云下的各类存储需求.产品紧跟国内信创生态,持续加强自主可控能力.目前,TStor 已经支持国内主流国产操作系统和硬件,如中标麒麟操作系统 ...
- 中电金信成为开源风险评估与治理技术实验室软件物料清单(SBOM)工作组成员单位
近期,中电金信成功加入国家工业信息安全发展研究中心开源风险评估与治理技术实验室软件物料清单(SBOM)工作组,成为其成员单位,并同步加入"筑链计划"之中. SBOM是Softwar ...
- Jackson基本使用教程
目录 如何将一个Json序列化对象封装成为一个Pojo是实体类对象 如何进行序列化与反序列化 如何将数据进行绑定 如何进行泛型数据绑定 如何使用Jackson树模型(将复杂Json手动映射到类型) 使 ...