由于Hadoop是大数据生态圈领域分布式存储、计算、资源调度框架标杆，因此许多公司都推出了各自版本的Hadoop，也有一些公司围绕Hadoop开发产品。在Hadoop生态系统中，规模最大，知名度最高的公司就是Cloudera，2008年成立的Cloudera是最早将Hadoop商用的公司，为合作伙伴提供Hadoop商用解决方案。

视频加载中...

本文从以下几个方面介绍Cloudera Manager产品:

1. Hadoop平台搭建面临的问题

2.Hadoop三大发行版本

3.第三方发行版本的优缺点

4.生产环境版本选择
5.Cloudera Manager 介绍
6.Cloudera Manager 体系架构图
7.Cloudera Manager 架构组件说明
8.Cloudera Manager四大基本功能
9.CDH集群安装部署方式
10.CDH安装过程
11.CDH平台环境系统软件版本
12.离线安装视频教程

1. Hadoop平台搭建面临的问题

最少要花费多长时间来搭建好1500台Hadoop集群,包括 Hive、Hbase、Flume、Kafka、Spark等等

对于以上集群进行hadoop版本升级，你会选择什么升级方案

新版本的Hadoop，与Hive、Hbase、Flume、Kafka、Spark等等兼容

2.Hadoop三大发行版本

Hadoop发行版可以理解为Redhat、Ubuntu与Linux的关系，就是第三方公司在官方开源的Hadoop版本上添加一些新的特性和功能，供用户使用并提供技术支持

Apache Hadoop（官方社区原生开源的Hadoop）

Cloudera’sDistributionIncludingApacheHadoop（CDH）（第三方发行版）

HortonworksDataPlatform(HDP)（第三方发行版）

Apache Hadoop

优点：Apache发行版的优点主要集中表现在它的完全开源免费、社区活跃性以及文档、资料详实等方面。

缺点：Apache发行版的缺点也相对较多，具体表现在以下几个方面：

复杂的版本管理。版本管理比较混乱，各种版本层出不穷，让使用者不知所措。
复杂的集群部署、安装、配置。通常按照集群需要编写大量的配置文件，分发到每一台节点上，容易出错，效率低下。
复杂的集群运维。对集群的监控，运维，需要安装第三方的其他软件，如ganglia，nagois等，运维难度较大。
复杂的生态环境。在Hadoop生态圈中，组件的选择、使用，比如Hive，Mahout，Sqoop，Flume，Spark，Oozie等等，需要大量考虑兼容性的问题，版本是否兼容，组件是否有冲突，编译是否能通过等。经常会浪费大量的时间去编译组件，解决版本冲突问题。

CDH

2008 年成立的 Cloudera 是最早将 Hadoop 商用的公司，为合作伙伴提 供 Hadoop 的商用解决方案，主要是包括支持，咨询服务，培训。
2009年Hadoop的创始人 Doug Cutting也加盟 Cloudera公司。Cloudera 产品主要 为 CDH，Cloudera Manager，Cloudera Support
CDH是Cloudera的Hadoop发行版，完全开源，比Apache Hadoop在兼容性，安全 性，稳定性上有所增强。
Cloudera Manager是集群的软件分发及管理监控平台，可以在几个小时内部署 好一个Hadoop集群，并对集群的节点及服务进行实时监控。Cloudera Support即 是对Hadoop的技术支持。
Cloudera 的标价为每年每个节点4000美元。Cloudera开发并贡献了可实时处理大 数据的Impala项目。

HDP

2011年成立的Hortonworks是雅虎与硅谷风投公司Benchmark Capital合资组建
公司成立之初就吸纳了大约25名至30名专门研究Hadoop的雅虎工程师，上述工 程师均在2005年开始协助雅虎开发Hadoop，贡献了Hadoop 80%的代码。
雅虎工程副总裁、雅虎Hadoop开发团队负责人Eric Baldeschwieler出Hortonworks的首席执行官。
Hortonworks 的主打产品是Hortonworks Data Platform (HDP)，也同样是100%开 源的产品，HDP除常见的项目外还包含了Ambari，一款开源的安装和管理系统
HCatalog，一个元数据管理系统，HCatalog现已集成到Facebook 开源的Hive中
Hortonworks的Stinger开创性地极大地优化了Hive项目。Hortonworks为入门提 供了一个非常好的，易于使用的沙盒。
Hortonworks开发了很多增强特性并提交至核心主干，这使得Apache Hadoop能 够在包括Windows Server和Windows Azure在内的Microsoft Windows平台上本地 运行。定价以集群为基础，每10个节点每年为12500美元。

3.第三方发行版本的优缺点

优点：第三方发行版本的优点主要有以下几个：
基于Apache协议，100%开源；
相较于原生的hadoop在兼容性、安全型以及稳定性方面有所提升；
版本管理清晰，更新更快；
提供了部署、安装、配置工具，大大提高了集群部署的效率，可以在几个小时内部署好集群；
运维简单。提供了管理、监控、诊断、配置修改的工具，管理配置方便，定位问题快速、准确，使运维工作简单，有效。

缺点：第三方hadoop发行版的主要缺点就是涉及到厂商锁定的问题，但这一问题可以通过技术方面解决掉。

4.生产环境版本选择

当我们选择是否采用某个软件用于生产环境时，通常需要考虑：

是否为开源软件，即是否免费。

是否有稳定版，这个一般软件官方网站会给出说明。

是否经实践验证，这个可通过检查是否有一些大点的公司已经在生产环境中使用知道。

是否有强大的社区支持，当出现一个问题时，能够通过社区、论坛等网络资源快速获取解决方法。

5.Cloudera Manager 介绍

Cloudera Manager 是 CDH 市场领先的管理平台。可以对 CDH 的每个部件都提供了细粒度的可视化和控制，通过 Cloudera Manger，运维人员得以提高集群的性能，提升服务质量，提高合规性并降低管理成本

Cloudera Manager 设计的目的是为了使得对于企业数据中心的管理变得简单和直观。通过 Cloudera Manager，可以方便地部署，并且集中式的操作完整的大数据软件栈。该应用软件会自动化安装过程，从而减少了部署集群的时间。通过 Cloudera Manager可以提供一个集群范围内的节点实时运行状态视图。同时，还提供了一个中央控制台，可以用于配置集群。不仅如此，Cloudera Manager 通过包含一系列的报告和诊断工具，可以帮助您优化集群性能，并且提高利用率

Cloudera Manager 能够为您提供以下的功能 ：
自动化 Hadoop 安装过程，大幅缩短部署时间
提供实时的集群概况，例如节点、服务的运行状况
提供了集中的中央控制台对集群的配置进行更改
包含全面的报告和诊断工具，帮助优化性能和利用率

6.Cloudera Manager 体系架构图

hadoop大数据平台意义,hadoop大数据平台架构

Cloudera Manager 体系架构图

7.Cloudera Manager 架构组件说明

服务端 /Server ：Cloudera Manager 的核心。主要用于管理 web server 和应用逻辑。它用于安装软件，配置，开始和停止服务，以及管理服务运行的集群。

● 代理 /agent ：安装在每台主机上。它负责启动和停止的进程，部署配置，触发安装和监控主机。

● 数据库 /Database ：存储配置和监控信息。通常可以在一个或多个数据库服务器上运行的多个逻辑数据库。例如，所述的 Cloudera 管理器服务和监视后台程序使用不同的逻辑数据库。

● Cloudera Repository ：用于软件分发由 Cloudera 软件仓库。

● 客户端 /Clients ：提供了一个与 Server 交互的接口：

■ 管理平台 /Admin Console ：提供一个管理员管理集群和 Cloudera Manage 的基于网页的交互界面。

■ API ：为开发者提供了创造自定义 Cloudera Manager 程序的 API。