flink笔记(三) flink架构及运行方式

架构图

Job Managers, Task Managers, Clients

• JobManager(Master)
  • 用于协调分布式执行。它们用来调度task，协调检查点，协调失败时恢复等。
  • Flink运行时至少存在一个JobManager。
  • 一个高可用的运行模式会存在多个JobManager，它们其中有一个是leader，而其他的都是standby。
• TaskManager(Worker)
  • 用于执行一个dataflow的task(或者特殊的subtask)、数据缓冲和data stream的交换。
  • Flink运行时至少会存在一个TaskManager。
• TaskManager连接到JobManager，告知自身的可用性进而获得任务分配。
• 客户端不是运行时和程序执行的一部分。但它用于准备并发送dataflow给master,然后户端断开连接或者维持连接以等待接收计算结果。
• JobManager和TaskManager可以以如下方式中的任意一种启动:
  • Standalone cluster
  • Yarn
  • Mesos
  • Container(容器, 如 由K8S管理的Docker集群)

Standalone 模式

• 流程如上所示
• 任务提交命令:
  • bin/flink run -c mainclass jar_path
  • webui 提交(傻瓜式)

On Yarn 模式

• 两种运行模式

  • Yarn-session 模式

    • 该模式是预先在yarn上面划分一部分资源给flink集群用，flink提交的所有任务，共用这些资源。
    • 示意图
    • 任务提交
      • 先启动一个yarn-session,并指明分配的资源。
      • 命令:
        • ./yarn-session.sh -n 3 -jm 1024 -tm 1024 /opt/sxt/flinkTest.jar
        • -n 容器个数
        • -jm jobmanager 进程内存大小
        • -tm 指明每个 taskmanager 的进程内存大小
      • 启动yarn-session后，就可以提交任务了
      • . /flink run -m 节点:端口 jar 文件目录
      • 停止yarn上的 flink 集群
        • 先找到 application_id
        • 然后执行命令:
          • yarn application -kill application_id

  • Single job 模式

    • 该模式是每次提交任务，都会创建一个新的flink集群

    • 任务之间互相独立，互不影响，方便管理

    • 任务执行完成之后，flink集群也会消失

    • 示图:

      

    • 任务提交命令:

      • ./flink rum -m yarn-cluster -yn 并行度 jar文件路径
        • -m:
          • 后面跟的是yarn-cluster，不需要指明地址。
          • 这是由于Single job模式是每次提交任务会新建flink集群，所以它的jobmanager是不固定的。
        • -yn:
          • 指明taskmanager个数。
          • 其余参数可使用：./flink -h 来查看

• 运行原理

  • flink on yarn 内部实现图

    

  • 步骤1

    • 当启动一个新的 Flink YARN Client会话，客户端首先会检查所请求的资源（容器和内存）是否可用。
    • 之后，它会上传包含了 Flink 配置文件和 jar包到 HDFS.

  • 步骤2

    • 客户端的请求一个container资源去启动 ApplicationMaster 进程

  • 步骤3

    • ResourceManager选一台NodeManager机器启动AM。
    • 注意点1:
      • 因为客户端已经将配置文件和jar包作为容器的资源注册了，所以 NodeManager 会负责准备容器做一些初始化工作（例如，下载文件）。
      • 一旦这些完成了，ApplicationMaster (AM) 就启动了。
    • 注意点2:
      • JobManager 和 AM 运行在同一个容器中。
      • 一旦它们成功地启动了，AM 知道 JobManager 的地址(它自己)。
      • 它会为 TaskManager 生成一个新的 Flink 配置文件（这样它们才能连上 JobManager）。
      • 该文件也同样会上传到 HDFS。另外，AM 容器同时提供了 Flink 的 Web 界面服务。

  • 步骤4

    • AM 开始为 Flink 的 TaskManager 分配容器(container)，在对应的nodemanager上面启动taskmanager

  • 步骤5

    • 初始化工作，从 HDFS 下载 jar 文件和修改过的配置文件。
    • 一旦这些步骤完成了，Flink 就安装完成并准备接受任务了。