前言 Flink 是流式的.实时的 计算引擎 上面一句话就有两个概念,一个是流式,一个是实时. 流式:就是数据源源不断的流进来,也就是数据没有边界,但是我们计算的时候必须在一个有边界的范围内进行,所以这里面就有一个问题,边界怎么确定? 无非就两种方式,根据时间段或者数据量进行确定,根据时间段就是每隔多长时间就划分一个边界,根据数据量就是每来多少条数据划分一个边界,Flink 中就是这么划分边界的,本文会详细讲解. 实时:就是数据发送过来之后立马就进行相关的计算,然后将结果输出.这里的计算有两种:…

基本概念 堆/Heap JVM管理的内存叫堆:在32Bit操作系统上有4G的限制,一般来说Windows下为2G,而Linux下为3G:64Bit的就没有这个限制.JVM初始分配的内存由-Xms指定,默认是物理内存的1/64但小于1G.JVM最大分配的内存由-Xmx指定,默认是物理内存的1/4但小于1G.默认空余堆内存小于40%时,JVM就会增大堆直到-Xmx的最大限制,可以由-XX:MinHeapFreeRatio=指定. 默认空余堆内存大于70%时,JVM会减少堆直到-Xms的最小限制,可以…

在jquery插件中我们经常看到以下这段代码 ;(function ( $, window, document, undefined ){ //函数体内具体代码 })(jQuery, window,document); 对于很多初学者来说很难明白这表示什么,我也是初学者,不是很懂,下边为大家介绍其相应的作用. 1.代码最前面的分号,可以防止多个文件压缩合并以为其他文件最后一行语句没加分号,而引起合并后的语法错误. 2.匿名函数(function(){})();由于Javascript执行表达式是…

文章目录 1.背景 2.ROC曲线 2.1 ROC名称溯源(选看) 2.2 ROC曲线的绘制 3.AUC(Area Under ROC Curve) 3.1 AUC来历 3.2 AUC几何意义 3.3 AUC计算 3.4 理解AUC的意义 3.4.1 从Mann-Whitney U test角度理解 3.4.2 从AUC计算公式角度理解 3.4.3 一句话介绍AUC 3.5 为什么用AUC 3.6 AUC的一般判断标准 1.背景 很多学习器是为测试样本产生一个实值或概率预测(比如比较简单的逻辑回…

一.Flink中的window 1,window简述  window 是一种切割无限数据为有限块进行处理的手段.Window 是无限数据流处理的核心,Window 将一个无限的 stream 拆分成有限大小的”buckets”桶,我们可以在这些桶上做计算操作. 2,window类型 window可分为CountWindow和TimeWindow两类:CountWindow:按照指定的数据条数生成一个 Window,与时间无关:TimeWindow:按照时间生成 Window. a)滚动窗口 将数…

前言 目前有许多数据分析的场景从批处理到流处理的演变, 虽然可以将批处理作为流处理的特殊情况来处理,但是分析无穷集的流数据通常需要思维方式的转变并且具有其自己的术语(例如,"windowing(窗口化)"."at-least-once(至少一次)"."exactly-once(只有一次)" ). 对于刚刚接触流处理的人来说,这种转变和新术语可能会非常混乱. Apache Flink 是一个为生产环境而生的流处理器,具有易于使用的 API,可以用于…

其实CEP复杂事件处理,简单来说你可以用通过类似正则表达式的方式去表示你的逻辑,表现能力非常的强,用过的人都知道 开篇先偷一张图,整体了解Flink中的CEP中的  一种重要的图  NFA非确定有限状态机 FlinkCEP在运行时会将用户的逻辑转化成这样的一个NFA Graph (nfa对象) graph 中包含状态(Flink中State对象),以及连接状态的边(Flink中StateTransition对象) 当从一个State跳变到另一个State时需要通过一条边StateTransiti…

本文根据 Apache Flink 系列直播课程整理而成,由 Apache Flink PMC,阿里巴巴高级技术专家 孙金城 分享.重点为大家介绍 Flink Python API 的现状及未来规划,主要内容包括:Apache Flink Python API 的前世今生和未来发展:Apache Flink Python API 架构及开发环境搭建:Apache Flink Python API 核心算子介绍及应用. 一.Apache Flink Python API 的前世今生和未来发展 1.…

1 前言 在时间 Time 那一篇中,介绍了三种时间概念 Event.Ingestin 和 Process, 其中还简单介绍了乱序 Event Time 事件和它的解决方案 Watermark 水位线 (看过多篇文章后,决定喊它水位线,因为窗口触发条件是 Watermark > Window_end_time,有点像水流到达水位线后溢出,当然喊它水印也是可以的,全看个人爱好咯~) 前文请翻 时间 Time 和 Watermark,不过前面介绍比较浅,没能很好领会水位线的概念,所以本篇是作为补充,…

Flink中的时间类型和窗口是非常重要概念,是学习Flink必须要掌握的两个知识点. Flink中的时间类型 时间类型介绍 Flink流式处理中支持不同类型的时间.分为以下几种: 处理时间 Flink程序执行对应操作的系统时间.所有基于时间的操作(例如:时间窗口)都将使用运行相应operator的系统时间.例如:每个小时的处理时间窗口包括在系统时间范围内所有operator接收到的记录.例如:如果应用程序在09:15开始运行,则第一个滚动时间窗口将包括:09:15 – 10:00 之间的处理事件…