Flink搭建
目录
一、standalone模式
二、Flink on Yarn模式
一、standalone模式
-
解压安装Flink
[root@bigdata1 software]# tar -zxvf flink-1.14.0-bin-scala_2.12.tgz -C /opt/module/
[root@bigdata1 module]# mv flink-1.14.0/ flink-standalone2.进入conf修改flink-conf.yaml
jobmanager.rpc.address: bigdata1
3.修改wokers
[root@bigdata1 conf]# vim workers
bigdata1
bigdata2
bigdata34.分发到集群其他节点
[root@bigdata1 module]# rsync -av /opt/module/flink-standalone/ bigdata2:/opt/module/flink-standalone/
[root@bigdata1 module]# rsync -av /opt/module/flink-standalone/ bigdata3:/opt/module/flink-standalone/5.启动Flink集群命令
[root@bigdata1 flink-standalone]# bin/start-cluster.sh
6.访问http://主机:8081可以对flink集群和任务进行监控
http://bigdata1:8081
7.停止Flink集群命令
bin/stop-cluster.sh二、Flink on Yarn模式
1.解压安装
[root@bigdata1 software]# tar -zxvf /opt/software/flink-1.14.0-bin-scala_2.12.tgz -C /opt/module/
[root@bigdata1 module]# mv flink-1.14.0/ flink-yarn2.配置环境变量
vim /etc/profile
#配置环境变量HADOOP_CLASSPATH, 如果前面已经配置可以忽略。
#export HADOOP_CLASSPATH=`hadoop classpath`
#FLINK_HOME
export FLINK_HOME=/opt/module/flink-yarn
export PATH=$PATH:$FLINK_HOME/bin
export HADOOP_CLASSPATH=`hadoop classpath`
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop3.启动Hadoop集群
Flink on yarn 基于Hadoop集群的yarn