术语表

Flink Application Cluster

Flink应用集群是一个专用的Flink集群,它只执行一个Flink应用的Flink作业。Flink集群的寿命与Flink应用的寿命绑定。

Flink Job Cluster

Flink Job Cluster是一个专用的Flink Cluster,它只执行一个Flink Job。Flink Cluster的寿命与Flink Job的寿命绑定。

Flink Cluster

一个分布式系统由(通常)一个JobManager和一个或多个Flink TaskManager进程组成。

Event

事件是关于应用程序所模拟的域的状态变化的声明。事件可以是流或批处理应用程序的输入和/或输出。事件是特殊类型的记录。

ExecutionGraph

see Physical Graph

Function

函数由用户实现,封装了Flink程序的应用逻辑。大多数Functions都由相应的Operator封装。

Instance

术语instance用于描述运行时特定类型(通常是Operator或Function)的具体实例。由于Apache Flink大部分是用Java编写的,所以对应于Java中的Instance或Object的定义。在Apache Flink的上下文中,并行实例这个术语也经常被用来强调同一个Operator或Function类型的多个实例在并行运行。

Flink Application

Flink应用程序是一个Java应用程序,它从main()方法(或通过其他方式)提交一个或多个Flink作业。提交作业通常是通过调用执行环境上的execute()来完成的。

应用程序的作业可以提交到一个长期运行的Flink会话集群,也可以提交到一个专门的Flink应用集群,或者提交到一个Flink作业集群。

Flink Job

Flink Job是指在Flink应用中通过调用execute()来创建和提交的逻辑图(也常称为数据流图)的运行时表示。

JobGraph

see Logical Graph

Flink JobManager

JobManager是Flink集群的协调器。它包含了三个不同的组件:Flink资源管理器、Flink调度器和每个运行的Flink JobMaster。Flink资源管理器、Flink调度器和每个运行中的Flink JobMaster。

Flink JobMaster

JobMasters是运行在JobManager中的组件之一。一个JobMaster负责监督单个作业的Tasks的执行情况。

Logical Graph

逻辑图是一个有向图,其中节点是操作符,边缘定义了操作符的输入/输出关系,并对应数据流或数据集。逻辑图是通过从Flink应用程序提交作业来创建的。

逻辑图也常被称为数据流图。

Managed State

Managed State描述的是已经在框架中注册的应用状态。对于托管状态,Apache Flink将负责处理持久性和重新缩放等问题。

Operator

逻辑图的节点。操作符执行某种操作,通常由Function执行。源和汇是数据摄入和数据输出的特殊操作符。

Operator Chain

一个操作者链由两个或多个连续的操作者组成,中间没有任何重新分区。同一操作者链内的操作者直接相互转发记录,而不需要经过序列化或Flink的网络栈。

Partition

分区是整个数据流或数据集的一个独立子集。通过将每条记录分配到一个或多个分区,将数据流或数据集划分为多个分区。数据流或数据集的分区在运行时由任务消耗。改变数据流或数据集分区方式的转换通常称为重新分区。

Physical Graph

物理图是翻译逻辑图的结果,以便在分布式运行时执行。节点是任务,边缘表示输入/输出关系或数据流或数据集的分区。

Record

记录是数据集或数据流的组成元素。操作符和函数接收记录作为输入,并发出记录作为输出。

(Runtime) Execution Mode

DataStream API程序可以在两种执行模式中的一种执行:BATCH或STREAMING。BATCH 或 STREAMING。请参阅执行模式了解更多详情。

Flink Session Cluster

一个长期运行的Flink Cluster,它接受多个Flink Job的执行。该Flink Cluster的寿命不受任何Flink Job寿命的约束。以前,Flink Session Cluster也被称为会话模式下的Flink Cluster。与Flink Application Cluster比较。

State Backend

对于流处理程序来说,Flink Job的状态后端决定了它的状态如何存储在每个TaskManager上(TaskManager的Java堆或(嵌入式)RocksDB),以及它在检查点时的写入位置(JobManager的Java堆或Filesystem)。

Sub-Task

子任务是指负责处理数据流的一个分区的任务。术语 "子任务 "强调同一操作员或操作员链有多个并行的Task。

Task

物理图的节点。任务是工作的基本单位,由Flink的运行时执行。任务正好封装了一个操作者或操作者链的一个并行实例。

Flink TaskManager

任务管理器是Flink集群的工作进程。任务被安排给TaskManagers执行。它们相互通信,在后续的Task之间交换数据。

Transformation

变换应用于一个或多个数据流或数据集,并产生一个或多个输出数据流或数据集。变换可能会在每条记录的基础上改变数据流或数据集,但也可能只改变其分区或执行聚合。操作符和函数是Flink的API的 "物理 "部分,而变换只是一个API概念。具体来说,大多数变换是由某些Operator实现的。

Flink-v1.12官方网站翻译-P015-Glossary的更多相关文章

  1. Flink-v1.12官方网站翻译-P005-Learn Flink: Hands-on Training

    学习Flink:实践培训 本次培训的目标和范围 本培训介绍了Apache Flink,包括足够的内容让你开始编写可扩展的流式ETL,分析和事件驱动的应用程序,同时省略了很多(最终重要的)细节.本书的重 ...

  2. Flink-v1.12官方网站翻译-P025-Queryable State Beta

    可查询的状态 注意:可查询状态的客户端API目前处于不断发展的状态,对所提供接口的稳定性不做保证.在即将到来的Flink版本中,客户端的API很可能会有突破性的变化. 简而言之,该功能将Flink的托 ...

  3. Flink-v1.12官方网站翻译-P002-Fraud Detection with the DataStream API

    使用DataStream API进行欺诈检测 Apache Flink提供了一个DataStream API,用于构建强大的.有状态的流式应用.它提供了对状态和时间的精细控制,这使得高级事件驱动系统的 ...

  4. Flink-v1.12官方网站翻译-P008-Streaming Analytics

    流式分析 事件时间和水印 介绍 Flink明确支持三种不同的时间概念. 事件时间:事件发生的时间,由产生(或存储)该事件的设备记录的时间 摄取时间:Flink在摄取事件时记录的时间戳. 处理时间:您的 ...

  5. Flink-v1.12官方网站翻译-P004-Flink Operations Playground

    Flink操作训练场 在各种环境中部署和操作Apache Flink的方法有很多.无论这种多样性如何,Flink集群的基本构件保持不变,类似的操作原则也适用. 在这个操场上,你将学习如何管理和运行Fl ...

  6. Flink-v1.12官方网站翻译-P001-Local Installation

    本地安装 按照以下几个步骤下载最新的稳定版本并开始使用. 第一步:下载 为了能够运行Flink,唯一的要求是安装了一个有效的Java 8或11.你可以通过以下命令检查Java的正确安装. java - ...

  7. Flink-v1.12官方网站翻译-P029-User-Defined Functions

    用户自定义函数 大多数操作都需要用户定义的函数.本节列出了如何指定这些函数的不同方法.我们还涵盖了累加器,它可以用来深入了解您的Flink应用. Lambda函数 在前面的例子中已经看到,所有的操作都 ...

  8. Flink-v1.12官方网站翻译-P028-Custom Serialization for Managed State

    管理状态的自定义序列化 本页面的目标是为需要使用自定义状态序列化的用户提供指导,涵盖了如何提供自定义状态序列化器,以及实现允许状态模式演化的序列化器的指南和最佳实践. 如果你只是简单地使用Flink自 ...

  9. Flink-v1.12官方网站翻译-P027-State Schema Evolution

    状态方案的演变 Apache Flink流媒体应用通常被设计为无限期或长时间运行.与所有长期运行的服务一样,应用程序需要更新以适应不断变化的需求.这对于应用程序所针对的数据模式也是一样的,它们会随着应 ...

随机推荐

  1. centos 8.x系统配置chrony时间同步服务

    redhat/centos 7.x默认使用的时间同步服务为ntp服务,但是从redhat/centos 8开始在官方的仓库中移除了ntp软件,换成默认的chrony进行时间同步的服务,虽然也可以通过添 ...

  2. TensorFlow中数据读取—如何载入样本

    考虑到要是自己去做一个项目,那么第一步是如何把数据导入到代码中,何种形式呢?是否需要做预处理?官网中给的实例mnist,数据导入都是写好的模块,那么自己的数据呢? 一.从文件中读取数据(CSV文件.二 ...

  3. 配置Oracle数据库和监听随Linux系统自启动【转】

     配置Oracle数据库和监听随Linux系统自启动     在某些情况下需要在Linux操作系统上提供一种无人值守的随机启动Oracle的功能,目的也许仅仅是为了帮助那些对Oracle细节非常不关心 ...

  4. 【Flutter】功能型组件之对话框详解

    前言 对话框本质上也是UI布局,通常一个对话框会包含标题.内容,以及一些操作按钮,为此,Material库中提供了一些现成的对话框组件来用于快速的构建出一个完整的对话框. 接口描述 // 1. Ale ...

  5. 【Flutter】可滚动组件之GridView

    前言 GridView可以构建一个二维网格列表.需要关注的是gridDelegate参数,类型是SliverGridDelegate,它的作用是控制GridView子组件如何排列(layout).Sl ...

  6. python列表字符串集合常用方法

    1.1 列表常用方法 # 1. append 用于在列表末尾追加新的对象a = [1,2,3]a.append(4) # the result : [1,2,3,4]​# 2. count方法统计某个 ...

  7. 基于Docker搭建Hadoop+Hive

    为配合生产hadoop使用,在本地搭建测试环境,使用docker环境实现(主要是省事~),拉取阿里云已有hadoop镜像基础上,安装hive组件,参考下面两个专栏文章: 克里斯:基于 Docker 构 ...

  8. memcached+magent的集群部署详细过程

    问题描述 Memcached在实现分布集群部署时, Memcached服务端的之间是没有通讯的,服务端是伪分布式,实现分布式是由客户端实现的,客户端实现了分布式算法把数据保存到不同的Memcached ...

  9. 腾讯云COS对象存储占据数据容灾C位

    说到公有云容灾,大家首先想到的是云上数据备份. 然而,随着企业核心业务逐渐从线下迁移到云上,客户提出了更高的要求.如何确保云上业务的高可用.数据的高可靠,这对云厂商提出了新的挑战. 腾讯云作为全球领先 ...

  10. 24V降压5V芯片,5A,4.5V-30V输入,同步降压调节器

    PW2205开发了一种高效率的同步降压DC-DC转换器5A输出电流.PW2205在4.5V到30V的宽输入电压范围内工作集成主开关和同步开关,具有非常低的RDS(ON)以最小化传导损失.PW2205采 ...