Flink 集群安装部署

环境准备

• CentOS：7.0
• JDK：1.8
• Flink 集群：node-01（Master）、node-02（Slave）、node-03（Slave）

安装与配置

• SFTP 上传 Flink 安装包并解压

[root@node-01 ~]# tar -zxvf flink-1.9.0-bin-scala_2.11.tgz -C apps/
[root@node-01 ~]# rm -rf flink-1.9.0-bin-scala_2.11.tgz

• 配置运行环境变量

[root@node-01 ~]# cd /etc
[root@node-01 etc]# vim profile
#行尾添加
export FLINK_HOME=/root/apps/flink-1.9.0
export PATH=$PATH:$FLINK_HOME/bin
[root@node-01 etc]# source /etc/profile

• 修改 conf/flink-conf.yaml 配置文件

[root@node-01 ~]# cd /root/apps/flink-1.9.0/conf
[root@node-01 conf]# vim flink-conf.yaml
#jobmanager地址
jobmanager.rpc.address: node-01
#TaskManager任务并发数
taskmanager.numberOfTaskSlots: 2
#任务运行的并行度
parallelism.default: 1

• 修改 conf/workers 配置文件

  [root@node-01 ~]# cd /root/apps/flink-1.9.0/conf
  [root@node-01 conf]# vim slaves
  node-02
  node-03
  

• 拷贝 flink 安装包到 node-02、node-03

  [root@node-01 ~]# cd /etc
  [root@node-01 etc]# scp profile node-02:$PWD
  [root@node-01 etc]# scp profile node-03:$PWD
  [root@node-02 ~]# source /etc/profile
  [root@node-03 ~]# source /etc/profile
  
  [root@node-01 ~]# cd /root/apps/
  [root@node-01 apps]# scp -r flink-1.9.0/ node-02:$PWD
  [root@node-01 apps]# scp -r flink-1.9.0/ node-03:$PWD
  

• 启动 Flink 集群服务（standalone模式）

  [root@node-01 ~]# start-cluster.sh
  Starting cluster.
  Starting standalonesession daemon on host node-01.
  Starting taskexecutor daemon on host node-02.
  [root@node-01 ~]# jps
  1763 StandaloneSessionClusterEntrypoint
  1833 Jps
  [root@node-02 ~]# jps
  1656 Jps
  1598 TaskManagerRunner
  [root@node-03 ~]# jps
  1589 TaskManagerRunner
  1642 Jps
  

  关闭 flink 集群 # stop-cluster.sh

• 查看 Flink Web UI 界面

  http://node-01:8081