网站首页 nodeyarn 第2页
-
大数据开发工程师-面试题-Hadoop(Hadoop的Yarn架构简述)
Yarn架构概述（1）ResourceManager：处理客户端请求、监控NodeManager、启动或监控ApplicationMaster、资源的分配与调度；（2）NodeManager：管理单个节点上的资源、处理来自ResourceM...
2024-11-30 baijin 博客文章 4 ℃ 0 评论 -
尝试一下使用 Vitest 进行组件测试，确实很香
什么是Vitest？自从尤大...
2024-11-30 baijin 博客文章 4 ℃ 0 评论 -
React_IDEA构建create-react-app
前言一直做后端开发，总感觉缺了一条腿。一个业务系统除了后端服务，还需前端页面的展示和交互。否则，不能成为一个完整产品或服务单元。初始程序员什么都干，服务器，数据库，后端，前端，Photoshop等等，那时候，我们可是全面手，随着工业化分工管...
2024-11-30 baijin 博客文章 3 ℃ 0 评论 -
Hadoop学习之路——Hadoop集群搭建和简单应用
目录概念了解...
2024-11-30 baijin 博客文章 4 ℃ 0 评论 -
Hadoop :map+shuffle+reduce和YARN分析笔记
今天在公司做了一个hadoop分享，包括mapreduce，及shuffle深度讲解，还有YARN框架的详细说明等。一引言1、海量日志数据，提取出某日访问百度次数最多的那个IP算法思想：分而治之+Hash1.IP地址最多有2^32=4G...
2024-11-30 baijin 博客文章 3 ℃ 0 评论 -
Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面(三)
七、Flink部署详解“Flink提交作业和执行任务，需要几个关键组件：客户端（Client）、作业管理器（JobManager）和任务管理器（TaskManager）。我们的代码由客户端获取并做转换，之后提交给JobManger。所以Jo...
2024-11-30 baijin 博客文章 4 ℃ 0 评论 -
大数据开发 | SPARK ON YARN运行模式
面试过程中经常被问到sparkonyarn的运行模式及区别，接下来我们从多方面展开阐述。一、...
2024-11-30 baijin 博客文章 4 ℃ 0 评论 -
大数据开发要会看yarn日志:Task容错机制，任务推测执行，计数器
背景：yarn的web界面是所有大数据开发都会或多或少查看的，比如任务运行失败，任务运行缓慢，查看详细任务运行进度，详细报错排查，debug等。但是实际从反馈来看，很多大数据开发对yarn界面的日志查看并不深入，对一些常见指标并不熟悉。下面...
2024-11-30 baijin 博客文章 3 ℃ 0 评论 -
Flink部署模式和任务提交模式介绍
集群部署模式Local模式：通过一个JVM进程中，通过线程模拟出各个Flink角色来得到Flink环境...
2024-11-30 baijin 博客文章 4 ℃ 0 评论 -
大数据架构师一定要弄清楚Fair Scheduler和Capacity Scheduler
1.项目背景公司集群上千物理节点，存储容量100PB+,当前使用50PB左右，YARN的计算内存150Tb+,CPU30000Cores+。当前使用的CDH集群，因为性能瓶颈，需要迁移到自建的apacheHadoop3集群。CDH集群...
2024-11-30 baijin 博客文章 4 ℃ 0 评论
- 控制面板
- 网站分类
- 最新留言
-