Flink笔记(二) DataStream Operator(数据流操作)
DataStream Source
基于文件
- readTextFile(path)
- 读取 text 文件的数据
- readFile(fileInputFormat, path)
- 通过自定义的读取方式, 来读取文件的数据
- readTextFile(path)
基于socket
- socketTextStream
- 从 socket 端口中读取数据
- socketTextStream
基于集合
- fromCollection(Collection)
- 从 collection集合中读取数据, 从而形成一个数据流, 集合中的元素类型需要一致
- fromElements(T ...)
- 从数组里读取数据, 从而形成一个数据流, 集合中的元素类型需要一致。
- fromCollection(Collection)
自定义 source
- addSource - 自定义一个数据源,比如FlinkKafkaConsumer,从kafka里读数据。
DataStream Transformations
转换算子 描述 Map DataStream --> DataStream 采用一个元素并生成一个元素 FlatMap DataStream --> DataStream 一个元素并生成零个, 一个或多个元素 Filter DataStream --> DataStream 过滤函数返回 false 的数据, true 的数据保留 KeyBy DataStream --> KeyedStream 指定 key将 K, V 格式的数据流进行逻辑分区, 将相同 key 的记录分在同一分区中。 Aggregations KeyedStream --> DataStream 对k,v格式的数据流进行聚合操作。 Reduce KeyedStream --> DataStream 对k,v的数据进行“减少操作”,这个操作逻辑自己写,加减乘除都行 DataStream Sink
- writeAsText()
- 将计算结果输出成text文件
- writeAsCsv()
- 将计算结果输出成csv文件
- print()
- 将计算结果打印到控制台
- writeUsingOutputFormat()
- 自定义输出方式
- writeToSocket
- 将计算结果输出到某台机器的端口上。
- writeAsText()
DataType
Flink对DataSet或DataStream中可以包含的元素类型设置了一些限制。
它支持多种不同类别的数据类型:
- Java Tuples and Scala Case Classes
- JAVA POJOs
- Primitive Types
Java Tuples and Scala Case Classes
POJO
- 如果满足以下要求,则Flink将Java和Scala类视为特殊的POJO数据类型:
- 必须是public class
- 必须有一个无参构造器(默认构造函数)
- 所有字段都是public的,或者必须通过getter和setter函数访问。
- 对于一个名为foo的字段getter和setter方法的字段必须命名getFoo()和setFoo()。
- 成员属性的类型必须是Flink支持的数据类型。目前,Flink使用Avro序列化任意对象(例如Date)。
- 如果满足以下要求,则Flink将Java和Scala类视为特殊的POJO数据类型:
Primitive Types(原始类型)
- Flink支持所有Java和Scala的原始类型,如Integer,String和Double。
Flink笔记(二) DataStream Operator(数据流操作)的更多相关文章
- jQuery学习笔记(二)jQuery中DOM操作
目录 DOM操作分类 jQuery中的各种DOM操作 查找节点 创建节点 删除节点 复制节点 替换节点 包裹节点 属性操作 样式操作 对HTML.文本和值的操作 遍历节点 CSS-DOM操作 小结 本 ...
- python笔记二(mysql数据库操作)
python2.x使用MySQLdb python3.x使用pymysql代替MySQLdb 不过我使用的是python3.5,MySQLdb还是可以在python3.5使用的. #!/usr/bin ...
- python笔记二:常用数据类型操作
1.切片:常用于取list或tuple的部分元素的操作 1)l=[1,2,3,4,5,6] l[:3]表示取前3个值,l[1:5]表示1到5个值, L[-3:]从列表最后往前数即最后3个数.... 2 ...
- python3笔记二十一:时间操作datetime和calendar
一:学习内容 datetime calendar 二:datetime 1.模块说明:可以理解为datetime基于time进行了封装,提供了各种使用的函数,datetime模块的接口更直接,更容易调 ...
- python3笔记二十:时间操作time
一:学习内容 time时间戳 time元组 time字符串 time时间转换图解 二:time 需要引入:import time 1.概念 UTC(世界协调时间):格林尼治天文时间,世界标准时间,在中 ...
- jquery学习笔记(二):DOM元素操作
内容来自[汇智网]jquery学习课程 2.1 元素属性操作 1.获取元素的属性 语法:attr(name) 参数name表示属性的名称 2.设置元素的属性 单个属性设置语法:attr(key,val ...
- python学习笔记(二)---for循环与操作列表
内容概要 for循环 range(start,end,step)函数 生成随机数列表 list()函数 将range()的结果整合到某个列表 列表的操作 切片(start: end :step) 元组 ...
- Flink流处理(三)- 数据流操作
3. 数据流操作 流处理引擎一般会提供一组内置的操作,用于对流做消费.转换,以及输出.接下来我们介绍一下最常见的流操作. 操作分为无状态的(stateless)与有状态的(stateful).无状态的 ...
- git的学习笔记(二):git远程操作
1.创建ssh key ssh-keygen -t rsa -C "your_email@example.com" 执行命令后会在用户的家目录生成.ssh的隐藏文件夹,文件夹里有公 ...
随机推荐
- 吴裕雄--天生自然HADOOP操作实验学习笔记:协同过滤算法
实验目的 初步认识推荐系统 学会用mapreduce实现复杂的算法 学会系统过滤算法的基本步骤 实验原理 前面我们说过了qq的好友推荐,其实推荐算法是所有机器学习算法中最重要.最基础.最复杂的算法,一 ...
- C#调用Win32 的API函数--User32.dll ----转载
Win32的API函数是微软自己的东西,可以直接在C#中直接调用,在做WinForm时还是很有帮助的.有时候我们之直接调用Win32 的API,可以很高效的实现想要的效果. using System; ...
- 有关vector元素的取地址
1--原则上,最好不要对vector的元素取地址,除非所有的vector元素已经填充完毕,这样vector的元素不会发生位置移动,地址才不会变,这样才能确保取得的地址的有效性.PS:即使在可以用已经分 ...
- 微信小程序(基础)
文档官网:https://developers.weixin.qq.com/miniprogram https://developers.weixin.qq.com/miniprogram/dev/f ...
- java第二次课件课后动手动脑习题整理总结(2019年9月23号)
一.动手动脑 1 1.题目 2.程序源代码 package yang8; import java.util.Scanner; import java.util.Random; public class ...
- [*CTF2019]babyflash
用JPEXS反编译flash.swf得到441张黑白图片和1个mp3文件 软件下载地址:https://github.com/jindrapetrik/jpexs-decompiler/release ...
- JavaScript之this的用法
本文我们介绍下js中this的用法. 由上图可得,默认this指向window,而在node.js中this默认指向global. 由上图可得: 1.原型链为o->MyClass.prototy ...
- Python 3网络爬虫开发实战书籍
Python 3网络爬虫开发实战书籍,教你学会如何用Python 3开发爬虫 本书介绍了如何利用Python 3开发网络爬虫,书中首先介绍了环境配置和基础知识,然后讨论了urllib.reques ...
- 终于解决ERROR: PHP's 'ldap' extension is not installed/enabled. Please check your MR
我的系统是centos,php是yum的5.6.40,php-ldap也是yum的5.6.40,配置好ldap后,登录时提示ERROR: PHP's 'ldap' extension is not i ...
- greenplum 存储过程 函数
参考:https://docs.pivotal.io/search?q=function