网站首页 > 博客文章 正文
前言
Cloudera整体架构
● 服务端/Server:Cloudera Manager的核心。主要用于管理web server和应用逻辑。它用于安装软件,配置,开始和停止服务,以及管理服务运行的集群。
● 代理/agent:安装在每台主机上。它负责启动和停止的进程,部署配置,触发安装和监控主机。
● 数据库/Database:存储配置和监控信息。通常可以在一个或多个数据库服务器上运行的多个逻辑数据库。例如,所述的Cloudera管理器服务和监视后台程序使用不同的逻辑数据库。
● Cloudera Repository:用于软件分发由Cloudera软件仓库。
● 客户端/Clients:提供了一个与Server交互的接口:
■ 管理平台/Admin Console:提供一个管理员管理集群和Cloudera Manage的基于网页的交互界面。
■ API:为开发者提供了创造自定义Cloudera Manager程序的API。
Cloudera系列产品:
创始组织:Cloudera公司
1.Cloudera Manager:
有四大功能
●(1)管理
●(2)监控
●(3)诊断
●(4)集成
2.Cloudera CDH:英文名称:CDH (Cloudera’s Distribution, including Apache Hadoop)
Cloudera对hadoop做了相应的改变。Cloudera公司的发行版,我们将该
版本称为CDH(Cloudera Distribution Hadoop)。
3.Cloudera Flume
Flume是Cloudera提供的日志收集系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;
Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。
Flume最早是Cloudera提供的日志收集系统,目前是Apache下的一个孵化项目,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力 Flume提供了从console(控制台)、RPC(Thrift-RPC)、text(文件)、tail(UNIX tail)、syslog(syslog日志系统,支持TCP和UDP等2种模式),exec(命令执行)等数据源上收集数据的能力。
Flume采用了多Master的方式。为了保证配置数据的一致性,Flume[1]引入了ZooKeeper,用于保存配置数据,ZooKeeper本身可保证配置数据的一致性和高可用,另外,在配置数据发生变化时,ZooKeeper可以通知Flume Master节点。Flume Master间使用gossip协议同步数据。
4.Cloudera Impala
Cloudera Impala对你存储在Apache Hadoop在HDFS,HBase的数据提供直接查询互动的SQL。除了像Hive使用相同的统一存储平台,Impala也使用相同的元数据,SQL语法(Hive SQL),ODBC驱动程序和用户界面(Hue Beeswax)。Impala还提供了一个熟悉的面向批量或实时查询和统一平台。
5.Cloudera hue
Hue是cdh专门的一套web管理器,它包括3个部分hue ui,hue server,hue db。hue提供所有的cdh组件的shell界面的接口。你可以在hue编写mr,查看修改hdfs的文件,管理hive的元数据,运行Sqoop,编写Oozie工作流等大量工作。
Cloudera学习路线
Cloudera之CDH_clouderaManager使用_hue和CDH_clouderaManager使用_impala_oozie 4.89G学习视频
需要领取CDH_clouderaManager使用_hue和CDH_clouderaManager使用_impala_oozie 4.89G学习视频的小伙伴,可以转发关注小编,私信小编“学习”来得到获取方式吧~~~
猜你喜欢
- 2024-10-16 10分钟大数据Hadoop基础入门「值得收藏」
- 2024-10-16 0288-如何使用Flume采集Kafka数据写入HBase
- 2024-10-16 0032-如何在CDH启用Kerberos的情况下安装及使用Sentry(二)
- 2024-10-16 0362-如何在Spark Streaming应用中使用Kudu管理Kafka的Offset
- 2024-10-16 使用ClouderaManager的优点、产生背景和应用场景
- 2024-10-16 大数据之Impala入门实战,看这篇就够了
- 2024-10-16 0732-Cloudera Data Center7.0今天正式GA
- 2024-10-16 清华大佬学习经验:Hadoop教程(一) Hadoop入门教程
- 2024-10-16 大数据Hadoop之——基于Hive的内存型SQL查询引擎Impala
- 2024-10-16 Hive架构及搭建方式(hive的搭建)
你 发表评论:
欢迎- 最近发表
- 标签列表
-
- powershellfor (55)
- messagesource (56)
- aspose.pdf破解版 (56)
- promise.race (63)
- 2019cad序列号和密钥激活码 (62)
- window.performance (66)
- qt删除文件夹 (72)
- mysqlcaching_sha2_password (64)
- ubuntu升级gcc (58)
- nacos启动失败 (64)
- ssh-add (70)
- jwt漏洞 (58)
- macos14下载 (58)
- yarnnode (62)
- abstractqueuedsynchronizer (64)
- source~/.bashrc没有那个文件或目录 (65)
- springboot整合activiti工作流 (70)
- jmeter插件下载 (61)
- 抓包分析 (60)
- idea创建mavenweb项目 (65)
- vue回到顶部 (57)
- qcombobox样式表 (68)
- vue数组concat (56)
- tomcatundertow (58)
- pastemac (61)
本文暂时没有评论,来添加一个吧(●'◡'●)