cloudera learning1:cloudera简介及安装

cloudera分为两个部分：CDH和CM。CDH是Cloudera Distribution Hadoop的简称，顾名思义，就是cloudera公司发布的Hadoop版本，封装了Apache Hadoop，提供Hadoop所有的服务，包括HDFS,YARN,MapReduce以及各种相关的components:HBase, Hive, ZooKeeper,Kafka等。CM是cloudera manager的简称，是CDH的管理平台，主要包括CM server, CM agent。通过CM可以对CDH进行配置，监测，报警，log查看，动态添加删除各种服务等。

cloudera有两种可安装版本：

cloudera express（免费版）：包含CDH和CM,CM支持端到端Hadoop admin以及部署，管理和监控cluster。

cloudera Enterprise (企业版) : 企业版又分为两种，一种为六十天免费试用版，试用期结束后如果没有license,自动降为express版本。另一种即为需要license的付费版。企业版除了包括express版的所有功能外，还额外包含Configuration历史记录及回退，滚动升级，LDAP集成，SNMP支持, disaster自动恢复等功能。

cloudera的安装，主要指CM的安装，在CM安装启动成功后，就可以通过CM server提供的界面，非常简单的安装CDH的各种组件了。

CM server安装在集群的外部，主要用于run service monitor,存储cluster配置信息，向agent分发各种配置命令和消息。

CM agent安装在cluster的每一台机器上，主要用于接收CM server的指令update本机，启动和停止本机的各种服务以及heartbeat status收集并发送给server。

CM的安装主要分为4个步骤：

1.在CM server打算安装的机器预先安装mysql作为database，也可以使用CM自带的PostgreSQL。安装cloudera提供的JDK，采用一般的JDK可能会有路径找不到的问题。

2.确保server能access cloudera software repositories.

3.安装Cloudera Manager server和Agent.

4.安装CDH Parcel提供的services:HDFS,YARN...

CM 5支持的OS种类及版本：

• Red Hat Enterprise Linux/Centos 5.7, 6.4, 6.5, 6.6
• Oracle Enterprise Linux 5.6, 6.4, 6.5, 6.6
• SUSE Linux Enterprise Server 11 Service Pack 2 or later
• Debian 7.0, 7.1
• Ubuntu 12.04, 14.04

CM 5需要的基本library：

Supported JDKs
Oracle JDK 1.7.0_55, 1.7.0_67 or higher, 1.8.0_40 or higher

Supported databases：

• MySQL 5.5 and 5.6
• Oracle 11g Release 2
• PostgreSQL 8.4, 9.2, and 9.3

cloudera manager有三种安装方式：

1.下载cloudera manager一键安装工具自动安装。这种方式比较适用于PoC。

2.通过cloudera manager packages或parcels手动进行安装。

3.通过cloudera manager tarball进行安装。

企业的产线环境，很可能是不能访问Internet的.通过把CDH package或parcel下载下来放到本地repository，配置cloudera manager使用本地repository进行安装。

安装包下载地址：

Package distribution:http://archive.cloudera.com/cm5/ 

Binary distribution:http://www.cloudera.com/downloads 

在安装了CM和CDH时，cloudera会默认创建以下一些账户来保证系统安全：

CM server创建cloudera-scm 帐户：在群集上创建和部署主机主体和 Keytab。

hdfs账户：运行NameNode、DataNode 和辅助节点。

mapred账户：运行JobTracker 和 TaskTrackers (MR1) 以及 Job History Server (YARN)。

yarn账户：运行ResourceManager 和 NodeManager (YARN)。

oozie：运行Oozie Server。

hue账户：运行Hue Server、Beeswax Server、Authorization Manager 和 Job Designer。