网站首页 > 博客文章 正文
Apache版本的大数据组件
优点
完全开源,更新速度很快
大数据组件在部署过程中可以深刻了解其底层原理
可以了解各个组件的依赖关系
缺点
部署过程极其复杂,超过20个节点的时候,手动部署已经超级累 各个组件部署完成后,各个为政,没有统一化管理界面 组件和组件之间的依赖关系很复杂,一环扣一环,部署过程心累 各个组件之间没有统一的metric可视化界面,比如说hdfs总共占用的磁盘空间、IO、运行状况等 优化等需要用户自己根据业务场景进行调整(需要手工的对每个节点添加更改配置,效率极低,我们希望的是一个配置能够自动的分发到所有的节点上)
ClouderaManager管理的CDH版本大数据组件
Cloudera Manager是用于管理CDH群集的端到端应用程序。
缺点
server和agent需要占用额外的内存和cpu(server占用内存为2G,agent占用内存1G,总共cpu为0.5核)
对linux常用命令需要了解颇深
对hadoop的apache版本有一定的安装经验和调优经验
优点
统一的可视化界面
自动部署和配置,大数据各类组件(hadoop、hive、hue、kudu、impala、zookeeper等)安装、调优极其便捷
零停机维护(免费版本不具有弹性升级)
多用户管理(权限控制,支持ldap) 稳定性极好(部分优化措施都已经调整好)
应用场景
- 适用于节点在5个以上、各类大数据服务超过5个的集群,因为有些小公司紧紧就用了hdfs、yarn、hive、spark几个服务,为了节省服务器等资源,不需要部署cm
- 适用于所有的大数据公司
- 适用于对于大数据组件版本不需要经常变动的公司,例如:有些公司就是喜欢钻研新技术,然后喜欢新版本,但是由于cm的免费版本不支持弹性升级,所以不建议喜欢新技术的公司用
- 适用于运维人员,因为该平台安装好以后,维护工作相对来将就轻松许多,例如:使用apache版本的运维人员,对某一个组件进行调优,需要消耗半天的时间进行调整,效率极低;再比如安装1000个节点,需要手动部署,工作量可想而知
补充: cm在国内用户量很大,戴尔、一号店等知名公司都在使用 cm和ambari在主流的大数据平台框架中,用户量比例很高
猜你喜欢
- 2024-10-16 10分钟大数据Hadoop基础入门「值得收藏」
- 2024-10-16 0288-如何使用Flume采集Kafka数据写入HBase
- 2024-10-16 0032-如何在CDH启用Kerberos的情况下安装及使用Sentry(二)
- 2024-10-16 0362-如何在Spark Streaming应用中使用Kudu管理Kafka的Offset
- 2024-10-16 大数据之Impala入门实战,看这篇就够了
- 2024-10-16 0732-Cloudera Data Center7.0今天正式GA
- 2024-10-16 清华大佬学习经验:Hadoop教程(一) Hadoop入门教程
- 2024-10-16 你了解过Cloudera的整体架构吗?4.89G学习视频带你走进它的世界
- 2024-10-16 大数据Hadoop之——基于Hive的内存型SQL查询引擎Impala
- 2024-10-16 Hive架构及搭建方式(hive的搭建)
你 发表评论:
欢迎- 最近发表
- 标签列表
-
- powershellfor (55)
- messagesource (56)
- aspose.pdf破解版 (56)
- promise.race (63)
- 2019cad序列号和密钥激活码 (62)
- window.performance (66)
- qt删除文件夹 (72)
- mysqlcaching_sha2_password (64)
- ubuntu升级gcc (58)
- nacos启动失败 (64)
- ssh-add (70)
- jwt漏洞 (58)
- macos14下载 (58)
- yarnnode (62)
- abstractqueuedsynchronizer (64)
- source~/.bashrc没有那个文件或目录 (65)
- springboot整合activiti工作流 (70)
- jmeter插件下载 (61)
- 抓包分析 (60)
- idea创建mavenweb项目 (65)
- vue回到顶部 (57)
- qcombobox样式表 (68)
- vue数组concat (56)
- tomcatundertow (58)
- pastemac (61)
本文暂时没有评论,来添加一个吧(●'◡'●)