1. DataStream Source

    • 基于文件

      • readTextFile(path)

        • 读取 text 文件的数据
      • readFile(fileInputFormat, path)
        • 通过自定义的读取方式, 来读取文件的数据
    • 基于socket

      • socketTextStream

        • 从 socket 端口中读取数据
    • 基于集合

      • fromCollection(Collection)

        • 从 collection集合中读取数据, 从而形成一个数据流, 集合中的元素类型需要一致
      • fromElements(T ...)
        • 从数组里读取数据, 从而形成一个数据流, 集合中的元素类型需要一致。
    • 自定义 source

      • addSource - 自定义一个数据源,比如FlinkKafkaConsumer,从kafka里读数据。
  2. DataStream Transformations

    转换算子 描述
    Map DataStream --> DataStream 采用一个元素并生成一个元素
    FlatMap DataStream --> DataStream 一个元素并生成零个, 一个或多个元素
    Filter DataStream --> DataStream 过滤函数返回 false 的数据, true 的数据保留
    KeyBy DataStream --> KeyedStream 指定 key将 K, V 格式的数据流进行逻辑分区, 将相同 key 的记录分在同一分区中。
    Aggregations KeyedStream --> DataStream 对k,v格式的数据流进行聚合操作。
    Reduce KeyedStream --> DataStream 对k,v的数据进行“减少操作”,这个操作逻辑自己写,加减乘除都行
  3. DataStream Sink

    • writeAsText()

      • 将计算结果输出成text文件
    • writeAsCsv()
      • 将计算结果输出成csv文件
    • print()
      • 将计算结果打印到控制台
    • writeUsingOutputFormat()
      • 自定义输出方式
    • writeToSocket
      • 将计算结果输出到某台机器的端口上。
  4. DataType

    • Flink对DataSet或DataStream中可以包含的元素类型设置了一些限制。

    • 它支持多种不同类别的数据类型:

      • Java Tuples and Scala Case Classes
      • JAVA POJOs
      • Primitive Types
    • Java Tuples and Scala Case Classes

    • POJO

      • 如果满足以下要求,则Flink将Java和Scala类视为特殊的POJO数据类型:

        • 必须是public class
        • 必须有一个无参构造器(默认构造函数)
        • 所有字段都是public的,或者必须通过getter和setter函数访问。
        • 对于一个名为foo的字段getter和setter方法的字段必须命名getFoo()和setFoo()。
        • 成员属性的类型必须是Flink支持的数据类型。目前,Flink使用Avro序列化任意对象(例如Date)。
    • Primitive Types(原始类型)

      • Flink支持所有Java和Scala的原始类型,如Integer,String和Double。

Flink笔记(二) DataStream Operator(数据流操作)的更多相关文章

  1. jQuery学习笔记(二)jQuery中DOM操作

    目录 DOM操作分类 jQuery中的各种DOM操作 查找节点 创建节点 删除节点 复制节点 替换节点 包裹节点 属性操作 样式操作 对HTML.文本和值的操作 遍历节点 CSS-DOM操作 小结 本 ...

  2. python笔记二(mysql数据库操作)

    python2.x使用MySQLdb python3.x使用pymysql代替MySQLdb 不过我使用的是python3.5,MySQLdb还是可以在python3.5使用的. #!/usr/bin ...

  3. python笔记二:常用数据类型操作

    1.切片:常用于取list或tuple的部分元素的操作 1)l=[1,2,3,4,5,6] l[:3]表示取前3个值,l[1:5]表示1到5个值, L[-3:]从列表最后往前数即最后3个数.... 2 ...

  4. python3笔记二十一:时间操作datetime和calendar

    一:学习内容 datetime calendar 二:datetime 1.模块说明:可以理解为datetime基于time进行了封装,提供了各种使用的函数,datetime模块的接口更直接,更容易调 ...

  5. python3笔记二十:时间操作time

    一:学习内容 time时间戳 time元组 time字符串 time时间转换图解 二:time 需要引入:import time 1.概念 UTC(世界协调时间):格林尼治天文时间,世界标准时间,在中 ...

  6. jquery学习笔记(二):DOM元素操作

    内容来自[汇智网]jquery学习课程 2.1 元素属性操作 1.获取元素的属性 语法:attr(name) 参数name表示属性的名称 2.设置元素的属性 单个属性设置语法:attr(key,val ...

  7. python学习笔记(二)---for循环与操作列表

    内容概要 for循环 range(start,end,step)函数 生成随机数列表 list()函数 将range()的结果整合到某个列表 列表的操作 切片(start: end :step) 元组 ...

  8. Flink流处理(三)- 数据流操作

    3. 数据流操作 流处理引擎一般会提供一组内置的操作,用于对流做消费.转换,以及输出.接下来我们介绍一下最常见的流操作. 操作分为无状态的(stateless)与有状态的(stateful).无状态的 ...

  9. git的学习笔记(二):git远程操作

    1.创建ssh key ssh-keygen -t rsa -C "your_email@example.com" 执行命令后会在用户的家目录生成.ssh的隐藏文件夹,文件夹里有公 ...

随机推荐

  1. 吴裕雄--天生自然HADOOP操作实验学习笔记:协同过滤算法

    实验目的 初步认识推荐系统 学会用mapreduce实现复杂的算法 学会系统过滤算法的基本步骤 实验原理 前面我们说过了qq的好友推荐,其实推荐算法是所有机器学习算法中最重要.最基础.最复杂的算法,一 ...

  2. C#调用Win32 的API函数--User32.dll ----转载

    Win32的API函数是微软自己的东西,可以直接在C#中直接调用,在做WinForm时还是很有帮助的.有时候我们之直接调用Win32 的API,可以很高效的实现想要的效果. using System; ...

  3. 有关vector元素的取地址

    1--原则上,最好不要对vector的元素取地址,除非所有的vector元素已经填充完毕,这样vector的元素不会发生位置移动,地址才不会变,这样才能确保取得的地址的有效性.PS:即使在可以用已经分 ...

  4. 微信小程序(基础)

    文档官网:https://developers.weixin.qq.com/miniprogram https://developers.weixin.qq.com/miniprogram/dev/f ...

  5. java第二次课件课后动手动脑习题整理总结(2019年9月23号)

    一.动手动脑 1 1.题目 2.程序源代码 package yang8; import java.util.Scanner; import java.util.Random; public class ...

  6. [*CTF2019]babyflash

    用JPEXS反编译flash.swf得到441张黑白图片和1个mp3文件 软件下载地址:https://github.com/jindrapetrik/jpexs-decompiler/release ...

  7. JavaScript之this的用法

    本文我们介绍下js中this的用法. 由上图可得,默认this指向window,而在node.js中this默认指向global. 由上图可得: 1.原型链为o->MyClass.prototy ...

  8. Python 3网络爬虫开发实战书籍

    Python 3网络爬虫开发实战书籍,教你学会如何用Python 3开发爬虫   本书介绍了如何利用Python 3开发网络爬虫,书中首先介绍了环境配置和基础知识,然后讨论了urllib.reques ...

  9. 终于解决ERROR: PHP's 'ldap' extension is not installed/enabled. Please check your MR

    我的系统是centos,php是yum的5.6.40,php-ldap也是yum的5.6.40,配置好ldap后,登录时提示ERROR: PHP's 'ldap' extension is not i ...

  10. greenplum 存储过程 函数

    参考:https://docs.pivotal.io/search?q=function