Yarn组件及其执行流程

四大组件

• ResourceManager
• 处理客户端请求
• 启动/监控ApplicationMaster
• 监控NodeManager
• 资源分配与调度
• ApplicationMaster
• 程序切分
• 为应用程序申请资源，并分配任务
• 任务监控与容错
• NodeManager
• 单个节点的资源管理
• 处理来自ResourceManager的命令
• 处理来自ApplicationManager的命令
• Container
• 对任务运行环境的抽象，封装了CPU、内存等多维资源以及环境变量、启动命令等任务运行相关的信息

执行流程

1. Client连接RM提交作业，RM给Client一个Job_id
2. RM中的AM连接NM，让NM创建一个MR_AM处理客户端Job请求
3. MR_AM连接RM中的AM申请NM
4. MR_AM连接RM中的ResourceScheduler申请资源（CPU、内存等）用于运行Job
5. MR_AM连接NM，发送Client job和申请到的资源
6. NM启动Container进程运行Job中不同的task
7. Container进程运行状态实时反馈给MR_AM
8. MR_AM反馈任务状态信息给RM中的AM