Flink 历史服务与连接器

History Server(历史服务)

• Flink提供了记录历史任务运行情况的服务，可用于在关闭Flink群集后依然能够查询已完成作业的相关信息。

• 配置:

  # 任务执行信息存储在hdfs目录
  jobmanager.archive.fs.dir: hdfs:///completed-jobs
  
  # history serever服务读取历史任务信息的目录
  historyserver.archive.fs.dir: hdfs:///completed-jobs
  
  # history serever服务每隔多久到历史任务目录中轮询查看
  historyserver.archive.fs.refresh-interval: 10000
  

• 配置完后, 选择一台机器, 启动 history server服务:

  bin/historyserver.sh start
  

• 访问历史服务器 8082端口

Connector(连接器)

• 介绍

  • link Flink内置了一些基本数据源(source)和接收器(sink)。

  • 除此之外它还提供了其他的连接器用于与各种第三方系统进行连接。

  • 目前支持如下系统的连接:

    • Apache kafka (source/sink)
    • ElasticSearch (sink)
    • Hadoop FileSystem (sink)
    • RabbitMQ (source/sink)
    • Apache NiFi (source/sink)
    • Apache Cassandra (sink)
    • Apache Kinesis Streams (source/sink)
    • Twitter Streaming API (source)

  • 在这些连接器中，当启动了Flink的容错机制之后，它分别能够保证不同的语义(at least once 和 exactly once)。

  • 当连接器是 source 的时候

    

  • 当连接器是 sink 的时候