推荐的群集主机和角色分配

要点：本主题描述了Cloudera Manager管理的CDH群集的建议角色分配。您为部署选择的实际分配可能会有所不同，具体取决于工作负载的类型和数量，群集中部署的服务，硬件资源，配置和其他因素。

使用Cloudera Manager安装向导安装CDH时，Cloudera Manager会尝试根据主机中可用的资源在群集主机（分配给网关主机的角色除外）之间分配角色。您可以在向导中显示的“ 自定义角色分配”页面上更改这些分配。您也可以稍后使用Cloudera Manager更改和添加角色。请参阅角色实例。

如果您的群集使用静态数据加密，请参阅为密钥受托者服务器和密钥受托者KMS分配主机。

有关在何处找到Cloudera Manager和其他服务所需的各种数据库的信息，请参阅步骤4：安装和配置数据库。

CDH群集主机和角色分配

群集主机可以大致描述为以下类型：

  • 主主机运行Hadoop主进程，例如HDFS NameNode和YARN Resource Manager。
  • 实用程序主机运行不是主进程的其他集群进程，例如Cloudera Manager和Hive Metastore。
  • 网关主机是用于在群集中启动作业的客户端访问点。所需的网关主机数量取决于工作负载的类型和大小。
  • 工作者主机主要运行DataNode和其他分布式进程，例如Impalad。

重要提示： Cloudera建议您在生产环境中使用CDH时始终启用高可用性。

3 - 10 Worker Hosts without High Availability

Master Hosts Utility Hosts Gateway Hosts Worker Hosts
Master Host 1:

  • NameNode
  • YARN ResourceManager
  • JobHistory Server
  • ZooKeeper
  • Kudu master
  • Spark History Server
 One host for all Utility and Gateway roles:

  • Secondary NameNode
  • Cloudera Manager
  • Cloudera Manager Management Service
  • Hive Metastore
  • HiveServer2
  • Impala Catalog Server
  • Impala StateStore
  • Hue
  • Oozie
  • Flume
  • Gateway configuration
 3 - 10 Worker Hosts:

  • DataNode
  • NodeManager
  • Impalad
  • Kudu tablet server

3 - 20 Worker Hosts with High Availability

Master Hosts Utility Hosts Gateway Hosts Worker Hosts
Master Host 1:

  • NameNode
  • JournalNode
  • FailoverController
  • YARN ResourceManager
  • ZooKeeper
  • JobHistory Server
  • Spark History Server
  • Kudu master
Master Host 2:

  • NameNode
  • JournalNode
  • FailoverController
  • YARN ResourceManager
  • ZooKeeper
  • Kudu master

Master Host 3:

  • Kudu master (Kudu requires an odd number of masters for HA.)
 Utility Host 1:

  • Cloudera Manager
  • Cloudera Manager Management Service
  • Hive Metastore
  • Impala Catalog Server
  • Impala StateStore
  • Oozie
  • ZooKeeper (requires dedicated disk)
  • JournalNode (requires dedicated disk)
 One or more Gateway Hosts:

  • Hue
  • HiveServer2
  • Flume
  • Gateway configuration
 3 - 20 Worker Hosts:

  • DataNode
  • NodeManager
  • Impalad
  • Kudu tablet server

20 - 80 Worker Hosts with High Availability

Master Hosts Utility Hosts Gateway Hosts Worker Hosts
Master Host 1:

  • NameNode
  • JournalNode
  • FailoverController
  • YARN ResourceManager
  • ZooKeeper
  • Kudu master
Master Host 2:

  • NameNode
  • JournalNode
  • FailoverController
  • YARN ResourceManager
  • ZooKeeper
  • Kudu master
Master Host 3:

  • ZooKeeper
  • JournalNode
  • JobHistory Server
  • Spark History Server
  • Kudu master
Utility Host 1:

  • Cloudera Manager
Utility Host 2:

  • Cloudera Manager Management Service
  • Hive Metastore
  • Impala Catalog Server
  • Oozie
 One or more Gateway Hosts:

  • Hue
  • HiveServer2
  • Flume
  • Gateway configuration
 20 - 80 Worker Hosts:

  • DataNode
  • NodeManager
  • Impalad
  • Kudu tablet server

80 - 200 Worker Hosts with High Availability

Master Hosts Utility Hosts Gateway Hosts Worker Hosts
Master Host 1:

  • NameNode
  • JournalNode
  • FailoverController
  • YARN ResourceManager
  • ZooKeeper
  • Kudu master
Master Host 2:

  • NameNode
  • JournalNode
  • FailoverController
  • YARN ResourceManager
  • ZooKeeper
  • Kudu master
Master Host 3:

  • ZooKeeper
  • JournalNode
  • JobHistory Server
  • Spark History Server
  • Kudu master
Utility Host 1:

  • Cloudera Manager
Utility Host 2:

  • Hive Metastore
  • Impala Catalog Server
  • Impala StateStore
  • Oozie
Utility Host 3:

  • Activity Monitor
Utility Host 4:

  • Host Monitor
Utility Host 5:

  • Navigator Audit Server
Utility Host 6:

  • Navigator Metadata Server
Utility Host 7:

  • Reports Manager
Utility Host 8:

  • Service Monitor
 One or more Gateway Hosts:

  • Hue
  • HiveServer2
  • Flume
  • Gateway configuration
 80 - 200 Worker Hosts:

  • DataNode
  • NodeManager
  • Impalad
  • Kudu tablet server (Recommended maximum number of tablet servers is 100.)

200 - 500 Worker Hosts with High Availability

Master Hosts Utility Hosts Gateway Hosts Worker Hosts
Master Host 1:

  • NameNode
  • JournalNode
  • FailoverController
  • ZooKeeper
  • Kudu master
Master Host 2:

  • NameNode
  • JournalNode
  • FailoverController
  • ZooKeeper
  • Kudu master
Master Host 3:

  • YARN ResourceManager
  • ZooKeeper
  • JournalNode
  • Kudu master
Master Host 4:

  • YARN ResourceManager
  • ZooKeeper
  • JournalNode
Master Host 5:

  • JobHistory Server
  • Spark History Server
  • ZooKeeper
  • JournalNode

We recommend no more than three Kudu masters.
Utility Host 1:

  • Cloudera Manager
Utility Host 2:

  • Hive Metastore
  • Impala Catalog Server
  • Impala StateStore
  • Oozie
Utility Host 3:

  • Activity Monitor
Utility Host 4:

  • Host Monitor
Utility Host 5:

  • Navigator Audit Server
Utility Host 6:

  • Navigator Metadata Server
Utility Host 7:

  • Reports Manager
Utility Host 8:

  • Service Monitor
 One or more Gateway Hosts:

  • Hue
  • HiveServer2
  • Flume
  • Gateway configuration
 200 - 500 Worker Hosts:

  • DataNode
  • NodeManager
  • Impalad
  • Kudu tablet server (Recommended maximum number of tablet servers is 100.)

500 -1000 Worker Hosts with High Availability

Master Hosts
 Utility Hosts Gateway Hosts Worker Hosts
Master Host 1:

  • NameNode
  • JournalNode
  • FailoverController
  • ZooKeeper
  • Kudu master
Master Host 2:

  • NameNode
  • JournalNode
  • FailoverController
  • ZooKeeper
  • Kudu master
Master Host 3:

  • YARN ResourceManager
  • ZooKeeper
  • JournalNode
  • Kudu master
Master Host 4:

  • YARN ResourceManager
  • ZooKeeper
  • JournalNode
Master Host 5:

  • JobHistory Server
  • Spark History Server
  • ZooKeeper
  • JournalNode

We recommend no more than three Kudu masters.
Utility Host 1:

  • Cloudera Manager
Utility Host 2:

  • Hive Metastore
  • Impala Catalog Server
  • Impala StateStore
  • Oozie
Utility Host 3:

  • Activity Monitor
Utility Host 4:

  • Host Monitor
Utility Host 5:

  • Navigator Audit Server
Utility Host 6:

  • Navigator Metadata Server
Utility Host 7:

  • Reports Manager
Utility Host 8:

  • Service Monitor
 One or more Gateway Hosts:

  • Hue
  • HiveServer2
  • Flume
  • Gateway configuration
 500 - 1000 Worker Hosts:

  • DataNode
  • NodeManager
  • Impalad
  • Kudu tablet server (Recommended maximum number of tablet servers is 100.)

为密钥受托者服务器和密钥受托者KMS分配主机

如果要为CDH群集启用静态数据加密，Cloudera建议您通过在Cloudera Manager管理的单独群集中的专用主机上部署密钥受托者服务器，将密钥受托者服务器与其他企业数据中心（EDH）服务隔离开来。Cloudera还建议在与需要访问Key Trustee Server的EDH服务相同的群集中的专用主机上部署Key Trustee KMS。此体系结构允许多个群集共享相同的密钥托管服务器，并避免在重新启动群集时重新启动密钥托管服务器。

有关在EDH中加密静态数据的详细信息，请参阅加密静态数据。

对于一般的生产环境，或者如果您已启用HDFS的高可用性并且正在使用静态数据加密，Cloudera建议您为密钥受托服务器和密钥受托者KMS启用高可用性。

1.4、CDH 搭建Hadoop在安装之前(推荐的群集主机和角色分配)的更多相关文章

  1. 2.7、CDH 搭建Hadoop在安装(使用向导设置群集)

    步骤7:使用向导设置群集 完成“ 群集安装”向导后,“ 群集设置”向导将自动启动.以下部分将指导您完成向导的每个页面: 选择服务 分配角色 设置数据库 查看更改 首次运行命令 恭喜! 选择服务 “ 选 ...

  2. 1、CDH 搭建Hadoop在安装之前(存储空间规划)

    Cloudera Manager的存储空间规划 最低要求角色: 完全管理员 Cloudera Manager跟踪许多后台进程中的服务,作业和应用程序的度量标准.所有这些指标都需要存储.根据组织的大小, ...

  3. 2.2、CDH 搭建Hadoop在安装(安装Java Development Kit)

    第2步:安装Java Development Kit 要安装Oracle JDK,您可以使用Cloudera Manager安装Cloudera提供的版本,也可以直接安装Oracle的其他版本. 继续 ...

  4. 1.5.7、CDH 搭建Hadoop在安装之前(定制安装解决方案---配置单用户模式)

    配置单用户模式 在传统的Cloudera Manager部署中,管理每台主机上的Hadoop进程的Cloudera Manager Agent以root用户身份运行.但是,某些环境会限制对root帐户 ...

  5. 2.5、CDH 搭建Hadoop在安装(设置Cloudera Manager数据库)

    步骤5:设置Cloudera Manager数据库 Cloudera Manager Server包含一个可以为自己创建和配置数据库的脚本.该脚本可以: 创建Cloudera Manager Serv ...

  6. 2.6、CDH 搭建Hadoop在安装(安装CDH和其他软件)

    第6步:安装CDH和其他软件 设置Cloudera Manager数据库后,启动Cloudera Manager Server,然后登录Cloudera Manager Admin Console: ...

  7. 2.1、CDH 搭建Hadoop在安装(为Cloudera Manager配置存储库)

    步骤1:为Cloudera Manager配置存储库 使用包管理工具安装Cloudera Manager yum 对于RHEL兼容系统, zypper对于SLES,和 apt-get对于Ubuntu. ...

  8. 1.5.6、CDH 搭建Hadoop在安装之前(定制安装解决方案---使用Cloudera Manager模板创建CDH群集)

    使用Cloudera Manager模板创建CDH群集 您可以通过从Cloudera Manager管理的现有CDH群集导出群集模板来创建新的CDH群集.然后,您可以修改模板并使用它在新的主机集上创建 ...

  9. 1.5.3、CDH 搭建Hadoop在安装之前(定制安装解决方案---创建群集主机的虚拟映像)

    创建群集主机的虚拟映像 您可以使用预先部署的Cloudera软件创建虚拟机映像,例如PXE启动映像,Amazon AMI和Azure VM映像,这些映像可用于快速启动虚拟机.这些图像使用parcel来 ...

随机推荐

  1. 认识下java注解的实现原理

    1,什么是注解 注解也叫元数据,例如常见的@Override和@Deprecated,注解是JDK1.5版本开始引入的一个特性,用于对代码进行说明,可以对包.类.接口.字段.方法参数.局部变量等进行注 ...

  2. 最小化安装CentOS 7后，图形界面的安装（GNOME、KDE等）

    安装图形化界面: 1.首先安装X(X Window System),命令为 yum groupinstall "X Window System" 2.检查一下我们已经安装的软件以及 ...

  3. 操作笔记：tomcat在正式环境的常见问题和idea的远程调试

    1,一台服务器有两个容器,比如:jetty,tomcat. 出现问题: jetty启动的时候,tomcat就不能启动了. 此时,需要修改tomcat的配置文件:servler.xml <?xml ...

  4. django之前-----web应用与框架

    一web应用 web应用程序是一种可以通过Web访问的应用程序,程序的最大好处是用户很容易访问应用程序,用户只需要有浏览器即可,不需要再安装其他软件.应用程序有两种模式C/S.B/S. 下面来看一个简 ...

  5. day6--递归函数

    一递归函数 我们老师经常喜欢讲的一句话就是:人理解函数,神理解递归,那么什么是递归函数? 递归函数:在一个函数里面调用函数本身,也就是说这个函数里面出现了和函数一样的名字 例如: def func(n ...

  6. Debug版本正常运行，Release版本编译通过但运行崩溃

    解决这个问题之前,第一个想的是Debug版本和Release版本有什么区别 Debug版: 经过编译器编译出的项目.exe文件大,而且生成的二进制命令没有经过编译器的优化.项目中包含着丰富的调试信息, ...

  7. Linux下安装PHP+Nginx+Msql

    安装Nginx: 1.先指定个文件存放位置  usr/local/src 2. 下载nginx,  wget http://nginx.org/download/nginx-1.12.0.tar.gz ...

  8. mysql中表里的数据重新设置自增的id的方法

    如果删除表数据用这个 TRUNCATE TABLE tablename 如果不删除表 alter table table_name AUTO_INCREMENT=;

  9. Asp.net Webform的页面生命周期

    1.分析请求的资源路径,寻找目录中对应的资源文件,若无法找到资源文件,则返回404错误2.分析资源文件的Page命令,通过Page指令找到代码文件和类 3.将页面文件和类一起编译生成最终的类(仅仅在第 ...

  10. 完整验证码类（validityHelper）（代码+使用）

    using System; using System.Web; using System.Drawing; using System.Security.Cryptography; namespace ...