前置条件
- JDK 11版本--必要条件
- 机器间配置互信(本示例使用的三台机器分别为 192.168.10.140,192.168.10.150,192.168.10.160)--可选
- 配置内网域名
#vim /etc/hosts
192.168.10.140 master14.bbx.com
192.168.10.150 worker15.bbx.com
192.168.10.160 worker16.bbx.com
- 关闭防火墙--建议(除非你非常清楚自己要什么,做什么)
systemctl stop firewalld
systemctl disable firewalld.service
安装 Flink
下载
wget https://dlcdn.apache.org/flink/flink-1.15.2/flink-1.15.2-bin-scala_2.12.tgz
解压
tar -zxvf flink-1.15.2-bin-scala_2.12.tgz
配置
- 详细的配置参数请参阅官方地址: https://nightlies.apache.org/flink/flink-docs-release-1.15/zh/docs/deployment/config/
- 编辑 conf/flink-conf.yaml
jobmanager.rpc.address: master14.bbx.com #指向 Master 节点
jobmanager.memory.process.size: 2500m #Master节点允许的内存,单位为MB
taskmanager.memory.process.size: 2500m #Worker节点允许的内存,单位为MB
rest.bind-address: 0.0.0.0 #webUI 允许外界访问
jobmanager.bind-host: 0.0.0.0 #jobmanager 允许访问的地址
taskmanager.bind-host: 0.0.0.0 #taskmanager 允许访问的地址
# taskmanager.host: localhost #注释该配置,否侧 web UI中 taskmanager没有内存数据
Note:如果某些节点需要更多内存,可以在对应的节点上设置上面的配置
master14.bbx.com:8081
worker15.bbx.com
worker16.bbx.com
- 分发flink 程序--所有节点上的Flink目录必须相同,可以使用NFS共享目录,或者复制到相同目录,本示例采用复制方式
scp -r flink-1.15.2 worker16.bbx.com:/home/software
集群管理
启动集群
#只需要在其中一台机器执行
./bin/start-cluster.sh
停止集群
./bin/stop-cluster.sh
查看集群进程
ps aux | grep flink
添加、删除 jobmanager
#在你想添加或删除的节点上操作
bin/jobmanager.sh ((start|start-foreground) [host] [webui-port])|stop|stop-all
添加、删除 taskmanager
#在你想添加或删除的节点上操作
bin/taskmanager.sh start|start-foreground|stop|stop-all
Flink UI访问
- 浏览器访问 192.168.10.140:8081(master14 节点的8081 端口)
本文暂时没有评论,来添加一个吧(●'◡'●)