专业的编程技术博客社区

网站首页 > 博客文章 正文

第一章、Flink集群搭建 Standalone Cluster

baijin 2024-09-15 14:47:20 博客文章 5 ℃ 0 评论

前置条件

  • JDK 11版本--必要条件
  • 机器间配置互信(本示例使用的三台机器分别为 192.168.10.140,192.168.10.150,192.168.10.160)--可选
  • 配置内网域名
#vim /etc/hosts
192.168.10.140    master14.bbx.com       
192.168.10.150    worker15.bbx.com       
192.168.10.160    worker16.bbx.com 
  • 关闭防火墙--建议(除非你非常清楚自己要什么,做什么)
systemctl stop firewalld
systemctl disable firewalld.service

安装 Flink

下载

 wget https://dlcdn.apache.org/flink/flink-1.15.2/flink-1.15.2-bin-scala_2.12.tgz

解压

 tar -zxvf  flink-1.15.2-bin-scala_2.12.tgz

配置

  • 详细的配置参数请参阅官方地址: https://nightlies.apache.org/flink/flink-docs-release-1.15/zh/docs/deployment/config/
  • 编辑 conf/flink-conf.yaml
jobmanager.rpc.address: master14.bbx.com #指向 Master 节点
jobmanager.memory.process.size: 2500m #Master节点允许的内存,单位为MB
taskmanager.memory.process.size: 2500m #Worker节点允许的内存,单位为MB
rest.bind-address: 0.0.0.0 #webUI 允许外界访问
jobmanager.bind-host: 0.0.0.0 #jobmanager 允许访问的地址
taskmanager.bind-host: 0.0.0.0 #taskmanager 允许访问的地址
# taskmanager.host: localhost       #注释该配置,否侧 web UI中  taskmanager没有内存数据 
Note:如果某些节点需要更多内存,可以在对应的节点上设置上面的配置
  • 编辑 conf/masters
master14.bbx.com:8081
  • 编辑 conf/workers
worker15.bbx.com
worker16.bbx.com
  • 分发flink 程序--所有节点上的Flink目录必须相同,可以使用NFS共享目录,或者复制到相同目录,本示例采用复制方式
 scp -r flink-1.15.2 worker16.bbx.com:/home/software

集群管理

启动集群

 #只需要在其中一台机器执行
 ./bin/start-cluster.sh 

停止集群

  ./bin/stop-cluster.sh

查看集群进程

 ps aux | grep flink

添加、删除 jobmanager

 #在你想添加或删除的节点上操作
 bin/jobmanager.sh ((start|start-foreground) [host] [webui-port])|stop|stop-all

添加、删除 taskmanager

 #在你想添加或删除的节点上操作
 bin/taskmanager.sh start|start-foreground|stop|stop-all

Flink UI访问

  • 浏览器访问 192.168.10.140:8081(master14 节点的8081 端口)


Tags:

本文暂时没有评论,来添加一个吧(●'◡'●)

欢迎 发表评论:

最近发表
标签列表