【大数据】Flink安装与配置

大数据学习记录。

1. 【大数据】虚拟机Fusion初始化系统CentOS9
2. 【大数据】Hadoop安装与配置

1. 软件安装

官网下载flink。

• flink-1.20.0-bin-scala_2.12.tgz

将上面的包下载后传到 hadoop102 下的/opt/software下。解压到/opt/module下。

cd /opt/software/
tar -zxf flink-1.20.0-bin-scala_2.12.tgz -C /opt/module/

软件分发到其他节点。

xsync /opt/module/flink-1.20.0

2. 配置

2.1 集群规划

集群规划如下(在上篇的Hadoop基础上):

	hadoop102	hadoop103	hadoop104
HDFS	NameNode DataNode	DataNode	SecondaryNameNode DataNode
YARN	NodeManager	ResourceManager NodeManager	NodeManager
Flink	JobManager TaskManager	TaskManager	TaskManager

2.2 配置

在FLINK_HOME/conf目录下。

修改 config.yaml 内容。

jobmanager:
    bind-host: 0.0.0.0
    rpc:
        address: hadoop102
taskmanager:
    bind-host: 0.0.0.0
    host: hadoop102 # 要对应各自节点的host
rest:
    address: hadoop102
    bind-address: 0.0.0.0

masters

hadoop102:8081

workers

hadoop102
hadoop103
hadoop104

将配置分发。

xsync /opt/module/flink-1.20.0

分发完后再去 hadoop103、hadoop104 上修改配置文件。

修改 config.yaml 内容。将taskmanager.host修改成对应的主机。

taskmanager:
    host: hadoop103

2.3 起停

启动集群。

bin/start-cluster.sh 

通过地址

关闭集群。

bin/stop-cluster.sh