网站首页 > 博客文章 正文
HDFS 高可用集群安装完成之后,紧接着快速搞定YARN的集群搭建。
1.修改YARN配置文件
1.1修改yarn-site.xml
<configuration> <property> <name>yarn.resourcemanager.connect.retry-interval.ms</name> <value>2000</value> </property> <property> <name>yarn.resourcemanager.ha.enabled</name> <value>true</value> </property> <!--打开高可用--> <property> <name>yarn.resourcemanager.ha.automatic-failover.enabled</name> <value>true</value> </property> <!--启动故障自动恢复--> <property> <name>yarn.resourcemanager.ha.automatic-failover.embedded</name> <value>true</value> </property> <!--rm启动内置选举active--> <property> <name>yarn.resourcemanager.cluster-id</name> <value>yarn-rm-cluster</value> </property> <!--给yarn cluster 取个名字yarn-rm-cluster--> <property> <name>yarn.resourcemanager.ha.rm-ids</name> <value>rm1,rm2</value> </property> <!--ResourceManager高可用 rm1,rm2--> <property> <name>yarn.resourcemanager.hostname.rm1</name> <value>hadoop01</value> </property> <property> <name>yarn.resourcemanager.hostname.rm2</name> <value>hadoop02</value> </property> <property> <name>yarn.resourcemanager.recovery.enabled</name> <value>true</value> </property> <!--启用resourcemanager 自动恢复--> <property> <name>yarn.resourcemanager.zk.state-store.address</name> <value>hadoop01:2181,hadoop02:2181,hadoop03:2181</value> </property> <!--状态存储地址--> <property> <name>yarn.resourcemanager.zk-address</name> <value>hadoop01:2181,hadoop02:2181,hadoop03:2181</value> </property> <!--配置Zookeeper地址--> <property> <name>yarn.resourcemanager.address.rm1</name> <value>hadoop01:8032</value> </property> <!--rm1端口号--> <property> <name>yarn.resourcemanager.scheduler.address.rm1</name> <value>hadoop01:8034</value> </property> <!-- rm1调度器的端口号--> <property> <name>yarn.resourcemanager.webapp.address.rm1</name> <value>hadoop01:8088</value> </property> <!-- rm1 webapp端口号--> <property> <name>yarn.resourcemanager.address.rm2</name> <value>hadoop02:8032</value> </property> <property> <name>yarn.resourcemanager.scheduler.address.rm2</name> <value>hadoop02:8034</value> </property> <property> <name>yarn.resourcemanager.webapp.address.rm2</name> <value>hadoop02:8088</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> <!--执行MapReduce需要配置的shuffle过程--> </configuration>
1.2修改mapred-site.xml
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <!--MapReduce以yarn模式运行--> </configuration>
2.修改过的配置文件同步到其他节点
通过如下命令,将yarn相关配置同步到slave节点。
deploy.sh mapred-site.xml /home/hadoop/app/hadoop-2.6.0-hadoop5.10.0/etc/hadoop slave deploy.sh yarn-site.xml /home/hadoop/app/hadoop-2.6.0-hadoop5.10.0/etc/hadoop slave
3.一键启动YARN集群
主节点hadoop01通过如下命令一键启动YARN 集群。
sbin/start-yarn.sh
4.启动备用节点RM
在备用节点hadoop02单独启动ResourceManager进程。
sbin/yarn-daemon.sh start resourcemanager
5.查看RM状态
通过如下命令分别查看rm1 rm2的状态。
bin/yarn rmadmin -getServiceState rm1 bin/yarn rmadmin -getServiceState rm2
6.web界面查看yarn
通过如下地址访问web界面,了解YARN相关作业运行信息。
http://hadoop01:8088
或者
http://hadoop02:8088
7.测试运行YARN
在YARN上面运行Hadoop自带Wordcount程序
bin/hadoop jar share/hadoop/mapreduce2/hadoop-mapreduce-examples-2.6.0-cdh5.10.0.jar wordcount /test/wd.txt /test/output
通过命令行查看执行结果
bin/hdfs dfs -cat /test/output/*
如果Wordcount程序能在YARN上成功运行,说明整个Hadoop集群安装成功。
猜你喜欢
- 2024-10-14 为什么我们从Yarn切换到pnpm(yarn设置淘宝镜像)
- 2024-10-14 flink的yarn模式部署(flink的三种部署方案)
- 2024-10-14 yarn的安装和使用(yarn安装教程)
- 2024-10-14 yarn 的安装和使用(yarn安装教程)
- 2024-10-14 操作学习-Spark on Yarn(spark on yarn执行流程)
- 2024-10-14 全面解析:Hadoop基础——YARN(hadoop yarn工作原理)
- 2024-10-14 Node简史及好书推荐(nodejs相关书籍)
- 2024-10-14 大数据之-Hadoop3.x_Yarn_常用命令---大数据之hadoop3.x_0147
- 2024-10-14 大数据系列文章之Yarn组件及其执行流程
- 2024-10-14 Yarn简单入门介绍(yarn使用及安装)
你 发表评论:
欢迎- 最近发表
- 标签列表
-
- powershellfor (55)
- messagesource (56)
- aspose.pdf破解版 (56)
- promise.race (63)
- 2019cad序列号和密钥激活码 (62)
- window.performance (66)
- qt删除文件夹 (72)
- mysqlcaching_sha2_password (64)
- ubuntu升级gcc (58)
- nacos启动失败 (64)
- ssh-add (70)
- jwt漏洞 (58)
- macos14下载 (58)
- yarnnode (62)
- abstractqueuedsynchronizer (64)
- source~/.bashrc没有那个文件或目录 (65)
- springboot整合activiti工作流 (70)
- jmeter插件下载 (61)
- 抓包分析 (60)
- idea创建mavenweb项目 (65)
- vue回到顶部 (57)
- qcombobox样式表 (68)
- vue数组concat (56)
- tomcatundertow (58)
- pastemac (61)
本文暂时没有评论,来添加一个吧(●'◡'●)