网站首页 第444页
-
大数据开发要会看yarn日志:Task容错机制，任务推测执行，计数器
背景：yarn的web界面是所有大数据开发都会或多或少查看的，比如任务运行失败，任务运行缓慢，查看详细任务运行进度，详细报错排查，debug等。但是实际从反馈来看，很多大数据开发对yarn界面的日志查看并不深入，对一些常见指标并不熟悉。下面...
2024-11-30 baijin 博客文章 2 ℃ 0 评论 -
Flink部署模式和任务提交模式介绍
集群部署模式Local模式：通过一个JVM进程中，通过线程模拟出各个Flink角色来得到Flink环境...
2024-11-30 baijin 博客文章 3 ℃ 0 评论 -
大数据架构师一定要弄清楚Fair Scheduler和Capacity Scheduler
1.项目背景公司集群上千物理节点，存储容量100PB+,当前使用50PB左右，YARN的计算内存150Tb+,CPU30000Cores+。当前使用的CDH集群，因为性能瓶颈，需要迁移到自建的apacheHadoop3集群。CDH集群...
2024-11-30 baijin 博客文章 3 ℃ 0 评论 -
开源 IoT平台ThingsBoard3.3.4源码编译问题记录
ThingsBoard是一个基于Java的开源的物联网平台，用于数据收集、处理、可视化和设备管理。它使用物联网行业的标准协议（MQTT、CoAP和HTTP）实现设备连接，并支持云和本地部署。因为手头有项目用这个开源产品当作物联网数据采集传...
2024-11-30 baijin 博客文章 2 ℃ 0 评论 -
部署属于自己的ChatGPT:新手入门级(Linux版)
很多人会想为什么要部署chatGPT？直接用别人的不就好了吗？我在跟大家说一下如果有自己的chatGPT可以方便多少。...
2024-11-30 baijin 博客文章 3 ℃ 0 评论 -
node:Ineffective mark-compacts near heap limit Allocation failed
node内存泄漏耗尽解决方法：在使用最新Vue脚手架vue-cli搭建的项目开发时，因为频繁修改代码，导致内存溢出，出现：FATALERROR:Ineffectivemark-compactsnearheaplimitAllo...
2024-11-30 baijin 博客文章 3 ℃ 0 评论 -
Hadoop编译和分布式大数据环境搭建
Hadoop编译和分布式大数据环境搭建一、Hadoop编译1、准备linux环境...
2024-11-30 baijin 博客文章 2 ℃ 0 评论 -
yarn安装并解决powershell中执行命令报错问题
yarn安装#yarn安装npminstallyarn-g#yarn源配置yarnconfigsetregistryhttps://registry.npm.taobao.org-gyarnconfigset...
2024-11-30 baijin 博客文章 3 ℃ 0 评论 -
如何使用 Express+TypeScript 创建 Node.js 项目
关于使用TypeScript和Express初始创建Node.js服务器的非常简短的教程。你们中的许多人可能已经知道使用Express和TypeScript设置Node.js项目是多么容易。如果您已经知道，那么您将...
2024-11-30 baijin 博客文章 1 ℃ 0 评论 -
告别 Node.js 安装配置的繁琐!国内镜像源加速，版本切换轻松搞定
微信公众号「雪之梦技术驿站」...
2024-11-30 baijin 博客文章 1 ℃ 0 评论
- 控制面板
- 网站分类
- 最新留言
-