Flink 集群安装配置

以下操作均在主节点进行

1.环境变量

添加FLINK_HOME以及path的内容：

export FLINK_HOME=/bigdata/flink-1.6.

export PATH=$PATH:$JAVA_HOME/bin:$ZOOKEEPER_HOME/bin:$KAFKA_HOME/bin:${FLINK_HOME}/bin

2.修改conf/flink-conf.yaml

这几乎是最简单的配置方式了，主要注意要修改jobmanager.rpc.address为集群中jobManager的IP或hostname。检查点以及HA的参数都没有配置。

jobmanager.rpc.address: master

3.修改slaves文件

这个文件中存放的信息是taskmanager的hostname。

4.复制flink目录到集群中其他的机器

[root@master ~]# scp -r /bigdata/flink-1.6.1/ root@192.168.36.27:/bigdata/
[root@master ~]# scp -r /bigdata/flink-1.6.1/ root@192.168.36.28:/bigdata/

5.启动Flink集群

先启动zookeeper、kafka、HDfS。

启动Flink：[root@master ~]# start-cluster.sh

master：

[root@master ~]# jps
 Kafka
 QuorumPeerMain
 ResourceManager
 StandaloneSessionClusterEntrypoint
 SecondaryNameNode
 TaskManagerRunner
 NameNode
 DataNode
 Jps

worker1:

[root@worker1 ~]# jps
 StandaloneSessionClusterEntrypoint
 Kafka
 QuorumPeerMain
 Jps
 NodeManager
 DataNode
 TaskManagerRunner

worker2:

[root@worker2 ~]# jps
 TaskManagerRunner
 NodeManager
 QuorumPeerMain
 DataNode
 StandaloneSessionClusterEntrypoint
 Jps
 Kafka

关闭Flink：[root@master ~]# stop-cluster.sh