Flink笔记(二) DataStream Operator(数据流操作)
DataStream Source
基于文件
- readTextFile(path)
- 读取 text 文件的数据
- readFile(fileInputFormat, path)
- 通过自定义的读取方式, 来读取文件的数据
- readTextFile(path)
基于socket
- socketTextStream
- 从 socket 端口中读取数据
- socketTextStream
基于集合
- fromCollection(Collection)
- 从 collection集合中读取数据, 从而形成一个数据流, 集合中的元素类型需要一致
- fromElements(T ...)
- 从数组里读取数据, 从而形成一个数据流, 集合中的元素类型需要一致。
- fromCollection(Collection)
自定义 source
- addSource - 自定义一个数据源,比如FlinkKafkaConsumer,从kafka里读数据。
DataStream Transformations
转换算子 描述 Map DataStream --> DataStream 采用一个元素并生成一个元素 FlatMap DataStream --> DataStream 一个元素并生成零个, 一个或多个元素 Filter DataStream --> DataStream 过滤函数返回 false 的数据, true 的数据保留 KeyBy DataStream --> KeyedStream 指定 key将 K, V 格式的数据流进行逻辑分区, 将相同 key 的记录分在同一分区中。 Aggregations KeyedStream --> DataStream 对k,v格式的数据流进行聚合操作。 Reduce KeyedStream --> DataStream 对k,v的数据进行“减少操作”,这个操作逻辑自己写,加减乘除都行 DataStream Sink
- writeAsText()
- 将计算结果输出成text文件
- writeAsCsv()
- 将计算结果输出成csv文件
- print()
- 将计算结果打印到控制台
- writeUsingOutputFormat()
- 自定义输出方式
- writeToSocket
- 将计算结果输出到某台机器的端口上。
- writeAsText()
DataType
Flink对DataSet或DataStream中可以包含的元素类型设置了一些限制。
它支持多种不同类别的数据类型:
- Java Tuples and Scala Case Classes
- JAVA POJOs
- Primitive Types
Java Tuples and Scala Case Classes
POJO
- 如果满足以下要求,则Flink将Java和Scala类视为特殊的POJO数据类型:
- 必须是public class
- 必须有一个无参构造器(默认构造函数)
- 所有字段都是public的,或者必须通过getter和setter函数访问。
- 对于一个名为foo的字段getter和setter方法的字段必须命名getFoo()和setFoo()。
- 成员属性的类型必须是Flink支持的数据类型。目前,Flink使用Avro序列化任意对象(例如Date)。
- 如果满足以下要求,则Flink将Java和Scala类视为特殊的POJO数据类型:
Primitive Types(原始类型)
- Flink支持所有Java和Scala的原始类型,如Integer,String和Double。
Flink笔记(二) DataStream Operator(数据流操作)的更多相关文章
- jQuery学习笔记(二)jQuery中DOM操作
目录 DOM操作分类 jQuery中的各种DOM操作 查找节点 创建节点 删除节点 复制节点 替换节点 包裹节点 属性操作 样式操作 对HTML.文本和值的操作 遍历节点 CSS-DOM操作 小结 本 ...
- python笔记二(mysql数据库操作)
python2.x使用MySQLdb python3.x使用pymysql代替MySQLdb 不过我使用的是python3.5,MySQLdb还是可以在python3.5使用的. #!/usr/bin ...
- python笔记二:常用数据类型操作
1.切片:常用于取list或tuple的部分元素的操作 1)l=[1,2,3,4,5,6] l[:3]表示取前3个值,l[1:5]表示1到5个值, L[-3:]从列表最后往前数即最后3个数.... 2 ...
- python3笔记二十一:时间操作datetime和calendar
一:学习内容 datetime calendar 二:datetime 1.模块说明:可以理解为datetime基于time进行了封装,提供了各种使用的函数,datetime模块的接口更直接,更容易调 ...
- python3笔记二十:时间操作time
一:学习内容 time时间戳 time元组 time字符串 time时间转换图解 二:time 需要引入:import time 1.概念 UTC(世界协调时间):格林尼治天文时间,世界标准时间,在中 ...
- jquery学习笔记(二):DOM元素操作
内容来自[汇智网]jquery学习课程 2.1 元素属性操作 1.获取元素的属性 语法:attr(name) 参数name表示属性的名称 2.设置元素的属性 单个属性设置语法:attr(key,val ...
- python学习笔记(二)---for循环与操作列表
内容概要 for循环 range(start,end,step)函数 生成随机数列表 list()函数 将range()的结果整合到某个列表 列表的操作 切片(start: end :step) 元组 ...
- Flink流处理(三)- 数据流操作
3. 数据流操作 流处理引擎一般会提供一组内置的操作,用于对流做消费.转换,以及输出.接下来我们介绍一下最常见的流操作. 操作分为无状态的(stateless)与有状态的(stateful).无状态的 ...
- git的学习笔记(二):git远程操作
1.创建ssh key ssh-keygen -t rsa -C "your_email@example.com" 执行命令后会在用户的家目录生成.ssh的隐藏文件夹,文件夹里有公 ...
随机推荐
- 洛谷 P3320 [SDOI2015]寻宝游戏
因为寻宝路径是一个环,所以寻宝花费的最小时间与起点无关.宝应当按照所有宝藏所在位置的 dfs 序进行才能够使得花费的时间最短.设 \(dist_i\) 表示 \(i\) 到树根的最短距离,那么树上任意 ...
- 洛谷 P1263 宫廷守卫
被这道题折腾了 \(2\) 个小时. 按照题意,每个守卫的上下左右四个方向上应当都是墙,而不能出现其他的守卫. 如图是一个合法的放置方案.每个守卫四个方向上都是墙(包括宫廷外墙). 如图是一个非法的放 ...
- 在centos7中安装MySQL5.7
1.下载mysql源安装包 wget http://dev.mysql.com/get/mysql57-community-release-el7-8.noarch.rpm 2.安装mysql源 yu ...
- 每日算法 - day 15
每日算法 those times when you get up early and you work hard; those times when you stay up late and you ...
- 3.8.1 HTML与CSS简单页面效果实例
HTML与CSS简单页面效果实例 <!DOCTYPE html> <html> <head> <meta charset="utf-8" ...
- DatePicker和DatePickerDialog的使用
activity_main.xml: <Button android:id="@+id/showDatePickerButton" android:text="@s ...
- Myeclipse 安装时候android adt, android sdk常见问题
离线版adt安装 可以随意百度adt下载 安装时候注意断网模式,否则会连接到服务器耗费很长时间:如果安装报错,可能是adt与Myeclipse版本不匹配,如我用的是Myeclipse8.6,安装AD ...
- Spring框架中的JDK与CGLib动态代理
JDK和CGLib动态代理区别 JDK动态代理:利用拦截器(拦截器必须实现InvocationHanlder)加上反射机制生成一个实现代理接口的匿名类, 在调用具体方法前调用InvokeHandler ...
- 使用vim编译.cpp文件
一.编写代码 1.打开命令行终端,输入vim test.cpp,新建了一个文件叫做“test.cpp”:如果以前已经建立过这个文件,则是打开这个名字的文件. 2.按回车进入编辑界面,输入i进入编辑模式 ...
- python中软件开发规范,模块,序列化随笔
1.软件开发规范 首先: 当代码都存放在一个py文件中时会导致 1.不便于管理,修改,增加 2.可读性差 3.加载速度慢 划分文件1.启动文件(启动接口)--starts文件放bin文件里2.公共文件 ...