网站首页 > 博客文章 正文
YARN在Hadoop平台中计划和协调应用程序和任务。 当要运行的任务需要HDFS中的数据时,YARN将尝试在数据所驻留的节点上调度任务(应用数据局部性的概念)。
YARN是Hadoop的第二代数据处理平台,其第一个称为MapReduce v1或MR1。 MR1是一个用于处理Hadoop MapReduce工作负载的调度平台.MR1在处理Map and Reduce工作负载以及尽可能实现数据局部性方面非常有效。
MR1有其自身的缺点,YARN能够解决MR1平台面临的缺点。 下面将解释一些缺点。
MR1并非旨在安排和管理非MapReduce程序。 MR1提供了用于在Hadoop集群上调度映射/减少作业的严格框架,并且无法管理Hadoop项目上的其他应用程序,例如spark,impala和Tez和SQL。
不够灵活,无法使用所有未充分利用的处理资产。 MR1严格定义了用于地图的处理插槽,并减少了操作,从而导致集群中资源的未充分利用。
它对可伸缩性的实际上限。
在YARN上运行应用程序
YARN旨在在称为NodeManagers的多个工作程序守护程序或进程之间分配应用程序工作负载。
NodeManager是负责执行任务的工作程序节点或代理,它们的完整集合包括一个应用程序。
名为ResourceManager的YARN守护程序负责分配ApplicationMaster,这是用于管理应用程序状态和执行的委托过程。
此外,ResourceManager监视,管理和保留节点管理器(CPU内核和内存)中的计算资源。 计算和内存资源提供给应用程序,以在称为容器的处理单元中执行尝试的任务。
ApplicationMaster确定应用程序的容器要求,并与ResourceManager协商资源,因此命名为Yet Another Resource Negotiator或YARN。
以下是当用户使用YARN作为资源调度程序/集群管理器在Hadoop平台中提交应用程序时发生的步骤顺序。
1.客户端/用户向YARN ResourceManager提交应用程序。
1. ResourceManager在NodeManager上指定一个ApplicationMaster,其容量足以分配此角色。
1. ApplicationMaster在NodeManager上协商任务容器(包括Application Master正在运行的NodeManager)。
一旦ResourceManager分配了容器,ApplicationMaster便将处理分派给托管应用程序任务容器的NodeManager。
4.NodeManager将其任务尝试状态和进度报告给ApplicationMaster。
5.然后,应用程序主服务器向Resourcemanager报告应用程序的状态和进度。
6,ResourceManger向客户端报告应用程序进度,状态和结果。
感谢您的阅读和时间! 祝你有美好的一天。
(本文翻译自Meenakshi Sundaram Sekar的文章《YARN — Resource scheduler/Cluster Manager for Hadoop platform — in a nutshell》,参考:https://medium.com/@meenakshisundaramsekar/yarn-resource-scheduler-cluster-manager-for-hadoop-platform-in-a-nutshell-12bed356ac55)
猜你喜欢
- 2024-10-14 国庆期间别偷懒,大数据平台只差YARN了
- 2024-10-14 为什么我们从Yarn切换到pnpm(yarn设置淘宝镜像)
- 2024-10-14 flink的yarn模式部署(flink的三种部署方案)
- 2024-10-14 yarn的安装和使用(yarn安装教程)
- 2024-10-14 yarn 的安装和使用(yarn安装教程)
- 2024-10-14 操作学习-Spark on Yarn(spark on yarn执行流程)
- 2024-10-14 全面解析:Hadoop基础——YARN(hadoop yarn工作原理)
- 2024-10-14 Node简史及好书推荐(nodejs相关书籍)
- 2024-10-14 大数据之-Hadoop3.x_Yarn_常用命令---大数据之hadoop3.x_0147
- 2024-10-14 大数据系列文章之Yarn组件及其执行流程
你 发表评论:
欢迎- 367℃用AI Agent治理微服务的复杂性问题|QCon
- 358℃初次使用IntelliJ IDEA新建Maven项目
- 357℃手把手教程「JavaWeb」优雅的SpringMvc+Mybatis整合之路
- 351℃Maven技术方案最全手册(mavena)
- 348℃安利Touch Bar 专属应用,让闲置的Touch Bar活跃起来!
- 346℃InfoQ 2024 年趋势报告:架构篇(infoq+2024+年趋势报告:架构篇分析)
- 345℃IntelliJ IDEA 2018版本和2022版本创建 Maven 项目对比
- 342℃从头搭建 IntelliJ IDEA 环境(intellij idea建包)
- 最近发表
- 标签列表
-
- powershellfor (55)
- messagesource (56)
- aspose.pdf破解版 (56)
- promise.race (63)
- 2019cad序列号和密钥激活码 (62)
- window.performance (66)
- qt删除文件夹 (72)
- mysqlcaching_sha2_password (64)
- ubuntu升级gcc (58)
- nacos启动失败 (64)
- ssh-add (70)
- jwt漏洞 (58)
- macos14下载 (58)
- yarnnode (62)
- abstractqueuedsynchronizer (64)
- source~/.bashrc没有那个文件或目录 (65)
- springboot整合activiti工作流 (70)
- jmeter插件下载 (61)
- 抓包分析 (60)
- idea创建mavenweb项目 (65)
- vue回到顶部 (57)
- qcombobox样式表 (68)
- vue数组concat (56)
- tomcatundertow (58)
- pastemac (61)
本文暂时没有评论,来添加一个吧(●'◡'●)