1. DataStream Source

    • 基于文件

      • readTextFile(path)

        • 读取 text 文件的数据
      • readFile(fileInputFormat, path)
        • 通过自定义的读取方式, 来读取文件的数据
    • 基于socket

      • socketTextStream

        • 从 socket 端口中读取数据
    • 基于集合

      • fromCollection(Collection)

        • 从 collection集合中读取数据, 从而形成一个数据流, 集合中的元素类型需要一致
      • fromElements(T ...)
        • 从数组里读取数据, 从而形成一个数据流, 集合中的元素类型需要一致。
    • 自定义 source

      • addSource - 自定义一个数据源,比如FlinkKafkaConsumer,从kafka里读数据。
  2. DataStream Transformations

    转换算子 描述
    Map DataStream --> DataStream 采用一个元素并生成一个元素
    FlatMap DataStream --> DataStream 一个元素并生成零个, 一个或多个元素
    Filter DataStream --> DataStream 过滤函数返回 false 的数据, true 的数据保留
    KeyBy DataStream --> KeyedStream 指定 key将 K, V 格式的数据流进行逻辑分区, 将相同 key 的记录分在同一分区中。
    Aggregations KeyedStream --> DataStream 对k,v格式的数据流进行聚合操作。
    Reduce KeyedStream --> DataStream 对k,v的数据进行“减少操作”,这个操作逻辑自己写,加减乘除都行
  3. DataStream Sink

    • writeAsText()

      • 将计算结果输出成text文件
    • writeAsCsv()
      • 将计算结果输出成csv文件
    • print()
      • 将计算结果打印到控制台
    • writeUsingOutputFormat()
      • 自定义输出方式
    • writeToSocket
      • 将计算结果输出到某台机器的端口上。
  4. DataType

    • Flink对DataSet或DataStream中可以包含的元素类型设置了一些限制。

    • 它支持多种不同类别的数据类型:

      • Java Tuples and Scala Case Classes
      • JAVA POJOs
      • Primitive Types
    • Java Tuples and Scala Case Classes

    • POJO

      • 如果满足以下要求,则Flink将Java和Scala类视为特殊的POJO数据类型:

        • 必须是public class
        • 必须有一个无参构造器(默认构造函数)
        • 所有字段都是public的,或者必须通过getter和setter函数访问。
        • 对于一个名为foo的字段getter和setter方法的字段必须命名getFoo()和setFoo()。
        • 成员属性的类型必须是Flink支持的数据类型。目前,Flink使用Avro序列化任意对象(例如Date)。
    • Primitive Types(原始类型)

      • Flink支持所有Java和Scala的原始类型,如Integer,String和Double。

Flink笔记(二) DataStream Operator(数据流操作)的更多相关文章

  1. jQuery学习笔记(二)jQuery中DOM操作

    目录 DOM操作分类 jQuery中的各种DOM操作 查找节点 创建节点 删除节点 复制节点 替换节点 包裹节点 属性操作 样式操作 对HTML.文本和值的操作 遍历节点 CSS-DOM操作 小结 本 ...

  2. python笔记二(mysql数据库操作)

    python2.x使用MySQLdb python3.x使用pymysql代替MySQLdb 不过我使用的是python3.5,MySQLdb还是可以在python3.5使用的. #!/usr/bin ...

  3. python笔记二:常用数据类型操作

    1.切片:常用于取list或tuple的部分元素的操作 1)l=[1,2,3,4,5,6] l[:3]表示取前3个值,l[1:5]表示1到5个值, L[-3:]从列表最后往前数即最后3个数.... 2 ...

  4. python3笔记二十一:时间操作datetime和calendar

    一:学习内容 datetime calendar 二:datetime 1.模块说明:可以理解为datetime基于time进行了封装,提供了各种使用的函数,datetime模块的接口更直接,更容易调 ...

  5. python3笔记二十:时间操作time

    一:学习内容 time时间戳 time元组 time字符串 time时间转换图解 二:time 需要引入:import time 1.概念 UTC(世界协调时间):格林尼治天文时间,世界标准时间,在中 ...

  6. jquery学习笔记(二):DOM元素操作

    内容来自[汇智网]jquery学习课程 2.1 元素属性操作 1.获取元素的属性 语法:attr(name) 参数name表示属性的名称 2.设置元素的属性 单个属性设置语法:attr(key,val ...

  7. python学习笔记(二)---for循环与操作列表

    内容概要 for循环 range(start,end,step)函数 生成随机数列表 list()函数 将range()的结果整合到某个列表 列表的操作 切片(start: end :step) 元组 ...

  8. Flink流处理(三)- 数据流操作

    3. 数据流操作 流处理引擎一般会提供一组内置的操作,用于对流做消费.转换,以及输出.接下来我们介绍一下最常见的流操作. 操作分为无状态的(stateless)与有状态的(stateful).无状态的 ...

  9. git的学习笔记(二):git远程操作

    1.创建ssh key ssh-keygen -t rsa -C "your_email@example.com" 执行命令后会在用户的家目录生成.ssh的隐藏文件夹,文件夹里有公 ...

随机推荐

  1. 洛谷 P3320 [SDOI2015]寻宝游戏

    因为寻宝路径是一个环,所以寻宝花费的最小时间与起点无关.宝应当按照所有宝藏所在位置的 dfs 序进行才能够使得花费的时间最短.设 \(dist_i\) 表示 \(i\) 到树根的最短距离,那么树上任意 ...

  2. 洛谷 P1263 宫廷守卫

    被这道题折腾了 \(2\) 个小时. 按照题意,每个守卫的上下左右四个方向上应当都是墙,而不能出现其他的守卫. 如图是一个合法的放置方案.每个守卫四个方向上都是墙(包括宫廷外墙). 如图是一个非法的放 ...

  3. 在centos7中安装MySQL5.7

    1.下载mysql源安装包 wget http://dev.mysql.com/get/mysql57-community-release-el7-8.noarch.rpm 2.安装mysql源 yu ...

  4. 每日算法 - day 15

    每日算法 those times when you get up early and you work hard; those times when you stay up late and you ...

  5. 3.8.1 HTML与CSS简单页面效果实例

    HTML与CSS简单页面效果实例 <!DOCTYPE html> <html> <head> <meta charset="utf-8" ...

  6. DatePicker和DatePickerDialog的使用

    activity_main.xml: <Button android:id="@+id/showDatePickerButton" android:text="@s ...

  7. Myeclipse 安装时候android adt, android sdk常见问题

    离线版adt安装  可以随意百度adt下载 安装时候注意断网模式,否则会连接到服务器耗费很长时间:如果安装报错,可能是adt与Myeclipse版本不匹配,如我用的是Myeclipse8.6,安装AD ...

  8. Spring框架中的JDK与CGLib动态代理

    JDK和CGLib动态代理区别 JDK动态代理:利用拦截器(拦截器必须实现InvocationHanlder)加上反射机制生成一个实现代理接口的匿名类, 在调用具体方法前调用InvokeHandler ...

  9. 使用vim编译.cpp文件

    一.编写代码 1.打开命令行终端,输入vim test.cpp,新建了一个文件叫做“test.cpp”:如果以前已经建立过这个文件,则是打开这个名字的文件. 2.按回车进入编辑界面,输入i进入编辑模式 ...

  10. python中软件开发规范,模块,序列化随笔

    1.软件开发规范 首先: 当代码都存放在一个py文件中时会导致 1.不便于管理,修改,增加 2.可读性差 3.加载速度慢 划分文件1.启动文件(启动接口)--starts文件放bin文件里2.公共文件 ...