该文档翻译自Jobs and Scheduling ----------------------------------------------- 该文档简单描述了Flink是如何调度Job的,以及如何在JobManager上表现并跟踪Job状态. 一.调度 Flink通过任务槽(Task Slot)定义执行资源.每个TaskManager都有一或多个任务槽,每个任务槽都可以运行一个流水线并行任务.一个流水线包括多个连续的任务,如一个MapFunction的第n个并行实例与一个ReduceFun…

Flink基础概念 本文描述Flink的基础概念,翻译自https://ci.apache.org/projects/flink/flink-docs-release-1.0/concepts/concepts.html 一.程序(Progrram)和数据流(Dataflows) Flink程序的构建基础为Streams和Transformations.其中Streams为中间结果,而Transformations是将一到多个Streams作为输入,计算产生一到多个Streams作为输出的操作(…

本文翻译自Contributing Code ----------------------------------------- Apache Flink是由自愿的代码贡献者维护.优化及扩展的.Apache Flink社区鼓励任何人贡献源代码.为了使得代码贡献者及复查者之便利,以及保存高质量的代码基础,我们遵循着一个贡献代码的过程,该过程将在本文档中详细描述. 本文包括有关向Flink贡献代码所需知晓的所有事宜,描述了从前期准备,测试以及代码提交的过程,同时解释了代码编写的准则以及Flink基础…

背压(backpressure)监控 本文翻译自Back Pressure Monitoring --------------------------------------------------- Flink的web接口提供了监控运行job的背压行为的功能 一.背压(back pressure) 如果你看到了一个任务的back pressure警告(如过高),则意味着该任务产生数据的速度要高于下游Operator消化的速度.数据沿着job的数据流图向下游流动(如从source到sink),而…

类型抽取和序列化 本文翻译自Type Extraction and Serialization Flink处理类型的方式比较特殊,包括它自己的类型描述,一般类型抽取和类型序列化框架.该文档描述这些概念并解释其机理. Java API和Scala API处理类型信息的方式有根本性的区别,所以本文描述的问题仅与其中一种API相关 一.Flink中对类型的处理 一般处理类型时,我们并不干涉,而是让编程语言和序列化框架来自动处理类型.与之相反的,Flink想要尽可能掌握进出用户函数的数据类型的信息. 1…

Flink一般架构和处理模型 本文翻译自General Architecture and Process Model --------------------------------------------------------------------- 一.处理过程 当Flink系统启动时,首先启动JobManager和一至多个TaskManager.JobManager负责协调Flink系统,TaskManager则是执行并行程序的worker.当系统以本地形式启动时,一个JobManag…

数据流容错机制 该文档翻译自Data Streaming Fault Tolerance,文档描述flink在流式数据流图上的容错机制. ------------------------------------------------------------------------------------------------- 一.介绍 flink提供了可以一致地恢复数据流应用的状态的容错机制,该机制保证即使在错误发生后,反射回数据流记录的程序的状态操作最终仅执行一次.值得注意的是,该保证可…

false false false false EN-US ZH-CN X-NONE /* Style Definitions */ table.MsoNormalTable {mso-style-name:普通表格; mso-tstyle-rowband-size:0; mso-tstyle-colband-size:0; mso-style-noshow:yes; mso-style-priority:99; mso-style-parent:""; mso-padding-alt…

说明:本文为<Flink大数据项目实战>学习笔记,想通过视频系统学习Flink这个最火爆的大数据计算框架的同学,推荐学习课程: Flink大数据项目实战:http://t.cn/EJtKhaz 新一代Flink计算引擎 (1) Flink概述 目前开源大数据计算引擎有很多的选择,比如流处理有Storm.Samza.Flink.Spark等,批处理有Spark.Hive.Pig.Flink等.既支持流处理又支持批处理的计算引擎只有Apache Flink和Apache Spark. 虽然Spar…

调度场算法(Shunting Yard Algorithm)是一个用于将中缀表达式转换为后缀表达式的经典算法,由 Edsger Wybe Dijkstra 引入,因其操作类似于火车编组场而得名.  ——维基百科 目标阐述: 将中缀表达式转换为后缀表达式(Reverse Polish Notation:RPN 逆波兰式) 参与运算的数据的正则表示为:[-]{,}形式的十进制数 运算符优先级:(从高到低)———————————————————————— ( ) 括号 / * % 除乘余 + - 加减…