Cloudera Manager产品介绍

一、Cloudera Manager简介

Cloudera Manager（后面简称CM）是CDH（Cloudera’s Distribution Including Apache Hadoop）市场领先的管理平台，对CDH每个部件都提供细粒度的可视化的监控，可以方便地部署，并且集中式的操作完整的大数据软件栈。通过CM可以提供一个集群范围内的节点实时运行状态视图，可以通过中央控制台配置集群，此外，CM通过包含一系列的报道和诊断工具，可以优化集群性能，提升服务质量，提高规范性并降低管理成本。CM主要包括以下的功能：

• 自动化Hadoop安装过程，大幅缩短部署时间；
• 提供实时的集群概括，例如节点、服务的运行状况；
• 提供了集中的中央控制台对集群的配置进行更改；
• 包含全面的报告和诊断工具，帮助优化性能和利用率。

二、Cloudera Manager架构图

Cloudera Manager的整体架构图如上图所示，主要由如下几部分组成：

• 服务端/Server：Cloudera Manager的核心。主要用于管理web server和应用程序逻辑。它用于安装软件，配置，开始和停止服务，以及管理运行服务的群集。
• 代理/agent：安装在每台机器上。它负责启动和停止进程，解压缩配置，触发安装和监控主机。
• 数据库/Database：存储配置和监控信息。在一个或多个数据库服务器中，通常会有多个逻辑数据库运行。例如，Cloudera Manager服务器和监控角色使用不用的逻辑数据库。
• 管理服务/Management Service：由一系列角色组成的服务，这些角色执行各种监视、警告和报警功能。
• Cloudera仓库/Cloudera Repository：可供Cloudera Manager分配的软件的存储库；
• 客户端/Client：用于与Server交互的接口：
  • 管理平台/Admin Console：提供一个管理员管理集群和Cloudera Manager的基于网页的交互界面；
  • API：为开发者提供了创造自定义Cloudera Manager程序的API。

三、Cloudera Management Service

Cloudera Management Service 可作为一组角色实施各种管理功能 :

• Activity Monitor：收集有关 MapReduce 服务运行的活动的信息。默认情况下未添加此角色；
• Host Monitor：收集有关主机的运行状况和指标信息；
• Service Monitor：收集有关服务的运行状况和指标信息以及 YARN 和 Impala 服务中的活动信息；
• Event Server：聚合相关 Hadoop 事件并将其用于警报和搜索；
• Alert Publisher：为特定类型的事件生成和提供警报；
• Reports Manager：生成报告，它提供用户、用户组和目录的磁盘使用率的历史视图，用户和 YARN 池的处理活动，以及 HBase 表和命名空间。此角色未在 Cloudera Express 中添加。

【参考资料】

[1] Cloudera Enterprise 5.8.x 中文文档.