The speed at which data is generated, consumed, processed, and analyzed is increasing at an unbelievably rapid pace. Social media, the Internet of Things, ad tech, and gaming verticals are struggling to deal with the disproportionate size of data set…
https://mp.weixin.qq.com/s/nQOxsZUZSiPi7Sx40mgwsA 20181104 3 differences between Savepoints and Checkpoints in Apache Flink data-artisans Flink 昨天 This episode of our Flink Friday Tip explains what Savepoints and Checkpoints are and examines the main…
This guide shows how to set up your SDK environment to deploy Cordova apps for Android devices, and how to optionally use Android-centered command-line tools in your development workflow. You need to install the Android SDK regardless of whether you…
 2016-04-30 22:24:39    Yanjun Apache Flink是一个面向分布式数据流处理和批量数据处理的开源计算平台,它能够基于同一个Flink运行时(Flink Runtime),提供支持流处理和批处理两种类型应用的功能.现有的开源计算方案,会把流处理和批处理作为两种不同的应用类型,因为他们它们所提供的SLA是完全不相同的:流处理一般需要支持低延迟.Exactly-once保证,而批处理需要支持高吞吐.高效处理,所以在实现的时候通常是分别给出两套实现方法,或者通过一个独…
流计算这两年很火了,可能对数据的实时性要求高.现在用的hadoop框架,对流计算的支持,主要还是微批(spark),也不支持“Exactly Once”语义(可以使用外接的数据库解决),公司项目可能会用所以就下载了个Flink试试. 1. 下载解压 打开官网:https://flink.apache.org/, “DOWNLOAD”,下载对应 hadoop 和scala 版本.Flink以来JDK和HADOOP,提前下载. [root@spring software]# wget http://…
花了四小时,看完Flink的内容,基本了解了原理. 挖个坑,待总结后填一下. 2019-06-02 01:22:57等欧冠决赛中,填坑. 一.概述 storm最大的特点是快,它的实时性非常好(毫秒级延迟).为了低延迟它牺牲了高吞吐,并且不能保证exactly once语义. 在低延迟和高吞吐的流处理中,维持良好的容错是非常困难的,但为了得到有保障的准确状态,人们想到一种替代方法:将连续时间中的流数据分割成一系列微小的批量作业(微批次处理).如果分割得足够小,计算几乎可以实现真正的流处理.因为存在…
本文翻译自官网:Flink Table Api & SQL 动态表 https://ci.apache.org/projects/flink/flink-docs-release-1.9/dev/table/streaming/dynamic_tables.html Flink Table Api & SQL 翻译目录 SQL和关系代数在设计时并未考虑流数据.所以,关系代数(和SQL)与流处理之间在概念上有一些差距. 本页讨论了这些差异,并说明了Flink如何在无界数据上实现与常规数据库引…
本文翻译自官网: Time Attributes   https://ci.apache.org/projects/flink/flink-docs-release-1.9/dev/table/streaming/time_attributes.html Flink Table Api & SQL 翻译目录 Flink能够根据不同的时间概念处理流数据. Process time 是指正在执行相应操作的机器的系统时间(也称为“挂钟时间”). Event time 是指基于附在每行上的时间戳对流数据…
本文翻译自官网 :  Joins in Continuous Queries   https://ci.apache.org/projects/flink/flink-docs-release-1.9/dev/table/streaming/joins.html Flink Table Api & SQL 翻译目录 Join 是批量数据处理中连接两个关系行的常见且易于理解的操作.但是,动态表上的 join 语义不那么明显,甚至令人困惑. 因此,有一些方法可以使 Table API或SQL实际执行…
本文翻译自官网: Temporal Tables https://ci.apache.org/projects/flink/flink-docs-release-1.9/dev/table/streaming/temporal_tables.html Flink Table Api & SQL 翻译目录 时态表(注:Temporal Table , 我翻译为时态表,可以访问表在不同时间的内容)表示一直在修改的表上的(参数化)视图的概念,该视图返回表在特定时间点的内容. 更改表可以是跟踪表的修改历…