专业的编程技术博客社区

网站首页 > 博客文章 正文

你了解过Cloudera的整体架构吗?4.89G学习视频带你走进它的世界

baijin 2024-10-16 07:39:57 博客文章 11 ℃ 0 评论

前言

Cloudera整体架构

● 服务端/Server:Cloudera Manager的核心。主要用于管理web server和应用逻辑。它用于安装软件,配置,开始和停止服务,以及管理服务运行的集群。

● 代理/agent:安装在每台主机上。它负责启动和停止的进程,部署配置,触发安装和监控主机。

● 数据库/Database:存储配置和监控信息。通常可以在一个或多个数据库服务器上运行的多个逻辑数据库。例如,所述的Cloudera管理器服务和监视后台程序使用不同的逻辑数据库。

● Cloudera Repository:用于软件分发由Cloudera软件仓库。

● 客户端/Clients:提供了一个与Server交互的接口:

■ 管理平台/Admin Console:提供一个管理员管理集群和Cloudera Manage的基于网页的交互界面。

■ API:为开发者提供了创造自定义Cloudera Manager程序的API。

Cloudera系列产品:

创始组织:Cloudera公司

1.Cloudera Manager:

有四大功能

●(1)管理

●(2)监控

●(3)诊断

●(4)集成

2.Cloudera CDH:英文名称:CDH (Cloudera’s Distribution, including Apache Hadoop)

Cloudera对hadoop做了相应的改变。Cloudera公司的发行版,我们将该

版本称为CDH(Cloudera Distribution Hadoop)。

3.Cloudera Flume

Flume是Cloudera提供的日志收集系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;

Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。

Flume最早是Cloudera提供的日志收集系统,目前是Apache下的一个孵化项目,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力 Flume提供了从console(控制台)、RPC(Thrift-RPC)、text(文件)、tail(UNIX tail)、syslog(syslog日志系统,支持TCP和UDP等2种模式),exec(命令执行)等数据源上收集数据的能力。

Flume采用了多Master的方式。为了保证配置数据的一致性,Flume[1]引入了ZooKeeper,用于保存配置数据,ZooKeeper本身可保证配置数据的一致性和高可用,另外,在配置数据发生变化时,ZooKeeper可以通知Flume Master节点。Flume Master间使用gossip协议同步数据。

4.Cloudera Impala

Cloudera Impala对你存储在Apache Hadoop在HDFS,HBase的数据提供直接查询互动的SQL。除了像Hive使用相同的统一存储平台,Impala也使用相同的元数据,SQL语法(Hive SQL),ODBC驱动程序和用户界面(Hue Beeswax)。Impala还提供了一个熟悉的面向批量或实时查询和统一平台。

5.Cloudera hue

Hue是cdh专门的一套web管理器,它包括3个部分hue ui,hue server,hue db。hue提供所有的cdh组件的shell界面的接口。你可以在hue编写mr,查看修改hdfs的文件,管理hive的元数据,运行Sqoop,编写Oozie工作流等大量工作。

Cloudera学习路线

Cloudera之CDH_clouderaManager使用_hue和CDH_clouderaManager使用_impala_oozie 4.89G学习视频

需要领取CDH_clouderaManager使用_hue和CDH_clouderaManager使用_impala_oozie 4.89G学习视频的小伙伴,可以转发关注小编,私信小编“学习”来得到获取方式吧~~~

Tags:

本文暂时没有评论,来添加一个吧(●'◡'●)

欢迎 发表评论:

最近发表
标签列表