Flink Data transformation(转换)

Flink Data transformation 算子学习

1、Source：数据源，Flink在流处理和批处理上的source大概有4类：

基于本地集合的source、基于文件的source、基于网络套接字的source、自定义的source。

自定义的source常见的有 Apache kafka、Amazon Kinesis Streams、RabbitMQ、Twitter Streaming API、Apache NiFi 等，当然你也可以

定义自己的source。

2、Transformation：数据转换的各种操作，有 Map/FlatMap/Filter/KeyBy/Reduce/Fold/Aggregations/Window/WindowAll/

Union/Window join/Split/Select/Project等，操作很多，可以将数据转换计算成你想要的数据。

3、Sink：接收器，Flink 将转换计算后的数据发送的地点，你可能需要存储下来，Flink常见的Sink大概有如下几类：

写入文件、打印出来、写入socket、自定义的sink。

自定义的sink常见的有 Apache kafka、RabbitMQ、MySQL、ElasticSearch、Apache Cassandra、Hadoop FileSystem等。

同理你也可以定义自己的Sink。

1、Map 这是最简单的转换之一，其中输入是一个数据流，输出的也是一个数据流。

2、FlatMap 采用一条记录并输出零个，一个或者多个记录。

3、Filter 函数根据条件判断出结果。

4、KeyBy 在逻辑上基于Key对流进行分区。在内部，它使用hash函数对流进行分区。它返回 KeyedDataStream 数据流。

5、Reduce 返回单个的结果值，并且 reduce 操作每处理一个元素总是创建一个新值。

常用的方法有 average,sum,min,max,count 使用 reduce 方法都可以实现。

6、Fold 通过将最后一个文件夹流与当前记录组合来推出 KeyedStream。它会发回数据流。

7、Aggregations

DataStream API 支持各种聚合，例如 min、max、sum等。这些函数可以应用于KeyedStream 以获得Aggregataions聚合。

max和maxBy之间的区别在于 max返回流中的最大值，但 maxBy返回具有最大值的键，min和minBy同理。

8、Window

Window 函数允许按时间或其他条件对现有KeyedStream 进行分组。

9、Union

Union 函数将两个或多个数据流结合在一起。这样就可以并行地组合数据流。如果我们将一个流与自身组合，那么它会输出每个记录两次。

10、Window join

我们可以通过一些 key 将同一个window 的两个数据流 join 起来。

11、Split

此功能根据条件将流拆分为两个或多个流。当您获得混合流并且您可能希望单独处理每个数据流时，可以使用此方法。

12、Select

此功能允许您从拆分流中选择特定流。

13、Project

Project 函数允许您从事件流中选择属性子集，并仅将所选元素发送到下一个处理流。

本文主要介绍了 Flink Data 的常用转换方式：

Map、FlatMap、Filter、KeyBy、Reduce、Fold、Aggregations、Window、

WindowAll、Union、Window Join、Split、Select、Project 等。

并用了点简单的 demo 介绍了如何使用，具体在项目中该如何将数据流转换成我们想要的格式，还需要根据实际情况对待。