1.Flink集群角色

Flink提交作业和执行任务时，需要几个关键组件

• 客户端（Client）：代码由客户端获取并做转换，之后提交给JobManager
• JobManager就是Flink集群里的“管事人”，对作业进行中央调度管理；而它获取到要执行的作业后，会进一步处理转换，然后分发任务给众多的TaskManager。
• TaskManager就是真正“干活的人”，数据处理操作都是它们来做的。

2.Flink集群搭建

2.1集群规划

2.2集群搭建并启动

1. 下载并解压安装包

• 下载安装包flink-1.17.0-bin-scala_2.12.tgz,将该jar包上传到hadoop102节点服务器的/opt/software路径上。
• 在/opt/software路径上解压flink-1.17.0-bin-scala_2.12.tgz到/opt/module路径上。

tar -zxvf flink-1.17.0-bin-scala_2.12.tgz -C /opt/module

2. 修改集群配置

• 进入conf路径，修改flink-conf.yaml文件，指定hadoop102节点服务器为JobManager

vim flink-conf.yaml
#修改内容如下
#JobManager节点地址
jobmanager.rpc.address: hadoop102
jobmanager.bind-hose: 0.0.0.0
rest.address: hadoop102
rest.bind-address: 0.0.0.0
#TaskManager节点地址。需要配置当前机器名
taskmanager.bind-host: 0.0.0.0
taskmanager.host: hadoop102

• 修改workers文件，指定hadoop102、hadoop103和hadoop104为TaskManager

vim workers
#修改内容如下
hadoop102
hadoop103
hadoop104

3. 修改masters文件

vim masters
#修改内容如下
hadoop102:8081

4. 将/opt/module中flink-1.17.0分发到hadoop103、hadoop104上面去

#进入/opt/module目录中
xsync flink-1.17.0/

5. 修改hadoop103、hadoop104上配置文件flink-conf.yaml

#进入/opt/module目录中
vim flink-conf.yaml
#修改内容如下(hadoop104修改类似)
taskmanager.host: hadoop103

6. 在 flink-conf.yaml文件中还可以对集群中的 JobManager 和 TaskManager 组件进行优化配置，主要配置项如下:

• jobmanager.memory.process.size:对JobManager进程可使用到的全部内存进行配置包括 JVM 元空间和其他开销，默认为1600M，可以根据集群规模进行适当调整。

• taskmanager.memory.process.size:对 TaskManager 进程可使用到的全部内存进行配置包括 JVM 元空间和其他开销，默认为1728M，可以根据集群规模进行适当调整。

• taskmanager.numberOfTaskSlots:对每个 TaskManager 能够分配的 Slot 数量进行配置默认为 1，可根据 TaskManager 所在的机器能够提供给 Flink的 CPU数量决定。所谓Slot就是 TaskManager 中具体运行一个任务所分配的计算资源。

• parallelism.default:Flink任务执行的并行度，默认为 1。优先级低于代码中进行的并行度配置和任务提交时使用参数指定的并行度数量。

7. 启动flink集群

#进入/opt/module/flink-1.17.0目录中，启动flink集群
bin/start-cluster.sh

8. 进入flink集群页面

打开网页，输入hadoop102:8081,进入flink集群页面