推荐的群集主机和角色分配

要点：本主题描述了Cloudera Manager管理的CDH群集的建议角色分配。您为部署选择的实际分配可能会有所不同，具体取决于工作负载的类型和数量，群集中部署的服务，硬件资源，配置和其他因素。

使用Cloudera Manager安装向导安装CDH时，Cloudera Manager会尝试根据主机中可用的资源在群集主机（分配给网关主机的角色除外）之间分配角色。您可以在向导中显示的“ 自定义角色分配”页面上更改这些分配。您也可以稍后使用Cloudera Manager更改和添加角色。请参阅角色实例。

如果您的群集使用静态数据加密，请参阅为密钥受托者服务器和密钥受托者KMS分配主机。

有关在何处找到Cloudera Manager和其他服务所需的各种数据库的信息，请参阅步骤4：安装和配置数据库。

CDH群集主机和角色分配

群集主机可以大致描述为以下类型：

  • 主主机运行Hadoop主进程，例如HDFS NameNode和YARN Resource Manager。
  • 实用程序主机运行不是主进程的其他集群进程，例如Cloudera Manager和Hive Metastore。
  • 网关主机是用于在群集中启动作业的客户端访问点。所需的网关主机数量取决于工作负载的类型和大小。
  • 工作者主机主要运行DataNode和其他分布式进程，例如Impalad。

重要提示： Cloudera建议您在生产环境中使用CDH时始终启用高可用性。

3 - 10 Worker Hosts without High Availability

Master Hosts Utility Hosts Gateway Hosts Worker Hosts
Master Host 1:

  • NameNode
  • YARN ResourceManager
  • JobHistory Server
  • ZooKeeper
  • Kudu master
  • Spark History Server
 One host for all Utility and Gateway roles:

  • Secondary NameNode
  • Cloudera Manager
  • Cloudera Manager Management Service
  • Hive Metastore
  • HiveServer2
  • Impala Catalog Server
  • Impala StateStore
  • Hue
  • Oozie
  • Flume
  • Gateway configuration
 3 - 10 Worker Hosts:

  • DataNode
  • NodeManager
  • Impalad
  • Kudu tablet server

3 - 20 Worker Hosts with High Availability

Master Hosts Utility Hosts Gateway Hosts Worker Hosts
Master Host 1:

  • NameNode
  • JournalNode
  • FailoverController
  • YARN ResourceManager
  • ZooKeeper
  • JobHistory Server
  • Spark History Server
  • Kudu master
Master Host 2:

  • NameNode
  • JournalNode
  • FailoverController
  • YARN ResourceManager
  • ZooKeeper
  • Kudu master

Master Host 3:

  • Kudu master (Kudu requires an odd number of masters for HA.)
 Utility Host 1:

  • Cloudera Manager
  • Cloudera Manager Management Service
  • Hive Metastore
  • Impala Catalog Server
  • Impala StateStore
  • Oozie
  • ZooKeeper (requires dedicated disk)
  • JournalNode (requires dedicated disk)
 One or more Gateway Hosts:

  • Hue
  • HiveServer2
  • Flume
  • Gateway configuration
 3 - 20 Worker Hosts:

  • DataNode
  • NodeManager
  • Impalad
  • Kudu tablet server

20 - 80 Worker Hosts with High Availability

Master Hosts Utility Hosts Gateway Hosts Worker Hosts
Master Host 1:

  • NameNode
  • JournalNode
  • FailoverController
  • YARN ResourceManager
  • ZooKeeper
  • Kudu master
Master Host 2:

  • NameNode
  • JournalNode
  • FailoverController
  • YARN ResourceManager
  • ZooKeeper
  • Kudu master
Master Host 3:

  • ZooKeeper
  • JournalNode
  • JobHistory Server
  • Spark History Server
  • Kudu master
Utility Host 1:

  • Cloudera Manager
Utility Host 2:

  • Cloudera Manager Management Service
  • Hive Metastore
  • Impala Catalog Server
  • Oozie
 One or more Gateway Hosts:

  • Hue
  • HiveServer2
  • Flume
  • Gateway configuration
 20 - 80 Worker Hosts:

  • DataNode
  • NodeManager
  • Impalad
  • Kudu tablet server

80 - 200 Worker Hosts with High Availability

Master Hosts Utility Hosts Gateway Hosts Worker Hosts
Master Host 1:

  • NameNode
  • JournalNode
  • FailoverController
  • YARN ResourceManager
  • ZooKeeper
  • Kudu master
Master Host 2:

  • NameNode
  • JournalNode
  • FailoverController
  • YARN ResourceManager
  • ZooKeeper
  • Kudu master
Master Host 3:

  • ZooKeeper
  • JournalNode
  • JobHistory Server
  • Spark History Server
  • Kudu master
Utility Host 1:

  • Cloudera Manager
Utility Host 2:

  • Hive Metastore
  • Impala Catalog Server
  • Impala StateStore
  • Oozie
Utility Host 3:

  • Activity Monitor
Utility Host 4:

  • Host Monitor
Utility Host 5:

  • Navigator Audit Server
Utility Host 6:

  • Navigator Metadata Server
Utility Host 7:

  • Reports Manager
Utility Host 8:

  • Service Monitor
 One or more Gateway Hosts:

  • Hue
  • HiveServer2
  • Flume
  • Gateway configuration
 80 - 200 Worker Hosts:

  • DataNode
  • NodeManager
  • Impalad
  • Kudu tablet server (Recommended maximum number of tablet servers is 100.)

200 - 500 Worker Hosts with High Availability

Master Hosts Utility Hosts Gateway Hosts Worker Hosts
Master Host 1:

  • NameNode
  • JournalNode
  • FailoverController
  • ZooKeeper
  • Kudu master
Master Host 2:

  • NameNode
  • JournalNode
  • FailoverController
  • ZooKeeper
  • Kudu master
Master Host 3:

  • YARN ResourceManager
  • ZooKeeper
  • JournalNode
  • Kudu master
Master Host 4:

  • YARN ResourceManager
  • ZooKeeper
  • JournalNode
Master Host 5:

  • JobHistory Server
  • Spark History Server
  • ZooKeeper
  • JournalNode

We recommend no more than three Kudu masters.
Utility Host 1:

  • Cloudera Manager
Utility Host 2:

  • Hive Metastore
  • Impala Catalog Server
  • Impala StateStore
  • Oozie
Utility Host 3:

  • Activity Monitor
Utility Host 4:

  • Host Monitor
Utility Host 5:

  • Navigator Audit Server
Utility Host 6:

  • Navigator Metadata Server
Utility Host 7:

  • Reports Manager
Utility Host 8:

  • Service Monitor
 One or more Gateway Hosts:

  • Hue
  • HiveServer2
  • Flume
  • Gateway configuration
 200 - 500 Worker Hosts:

  • DataNode
  • NodeManager
  • Impalad
  • Kudu tablet server (Recommended maximum number of tablet servers is 100.)

500 -1000 Worker Hosts with High Availability

Master Hosts
 Utility Hosts Gateway Hosts Worker Hosts
Master Host 1:

  • NameNode
  • JournalNode
  • FailoverController
  • ZooKeeper
  • Kudu master
Master Host 2:

  • NameNode
  • JournalNode
  • FailoverController
  • ZooKeeper
  • Kudu master
Master Host 3:

  • YARN ResourceManager
  • ZooKeeper
  • JournalNode
  • Kudu master
Master Host 4:

  • YARN ResourceManager
  • ZooKeeper
  • JournalNode
Master Host 5:

  • JobHistory Server
  • Spark History Server
  • ZooKeeper
  • JournalNode

We recommend no more than three Kudu masters.
Utility Host 1:

  • Cloudera Manager
Utility Host 2:

  • Hive Metastore
  • Impala Catalog Server
  • Impala StateStore
  • Oozie
Utility Host 3:

  • Activity Monitor
Utility Host 4:

  • Host Monitor
Utility Host 5:

  • Navigator Audit Server
Utility Host 6:

  • Navigator Metadata Server
Utility Host 7:

  • Reports Manager
Utility Host 8:

  • Service Monitor
 One or more Gateway Hosts:

  • Hue
  • HiveServer2
  • Flume
  • Gateway configuration
 500 - 1000 Worker Hosts:

  • DataNode
  • NodeManager
  • Impalad
  • Kudu tablet server (Recommended maximum number of tablet servers is 100.)

为密钥受托者服务器和密钥受托者KMS分配主机

如果要为CDH群集启用静态数据加密，Cloudera建议您通过在Cloudera Manager管理的单独群集中的专用主机上部署密钥受托者服务器，将密钥受托者服务器与其他企业数据中心（EDH）服务隔离开来。Cloudera还建议在与需要访问Key Trustee Server的EDH服务相同的群集中的专用主机上部署Key Trustee KMS。此体系结构允许多个群集共享相同的密钥托管服务器，并避免在重新启动群集时重新启动密钥托管服务器。

有关在EDH中加密静态数据的详细信息，请参阅加密静态数据。

对于一般的生产环境，或者如果您已启用HDFS的高可用性并且正在使用静态数据加密，Cloudera建议您为密钥受托服务器和密钥受托者KMS启用高可用性。

1.4、CDH 搭建Hadoop在安装之前(推荐的群集主机和角色分配)的更多相关文章

  1. 2.7、CDH 搭建Hadoop在安装(使用向导设置群集)

    步骤7:使用向导设置群集 完成“ 群集安装”向导后,“ 群集设置”向导将自动启动.以下部分将指导您完成向导的每个页面: 选择服务 分配角色 设置数据库 查看更改 首次运行命令 恭喜! 选择服务 “ 选 ...

  2. 1、CDH 搭建Hadoop在安装之前(存储空间规划)

    Cloudera Manager的存储空间规划 最低要求角色: 完全管理员 Cloudera Manager跟踪许多后台进程中的服务,作业和应用程序的度量标准.所有这些指标都需要存储.根据组织的大小, ...

  3. 2.2、CDH 搭建Hadoop在安装(安装Java Development Kit)

    第2步:安装Java Development Kit 要安装Oracle JDK,您可以使用Cloudera Manager安装Cloudera提供的版本,也可以直接安装Oracle的其他版本. 继续 ...

  4. 1.5.7、CDH 搭建Hadoop在安装之前(定制安装解决方案---配置单用户模式)

    配置单用户模式 在传统的Cloudera Manager部署中,管理每台主机上的Hadoop进程的Cloudera Manager Agent以root用户身份运行.但是,某些环境会限制对root帐户 ...

  5. 2.5、CDH 搭建Hadoop在安装(设置Cloudera Manager数据库)

    步骤5:设置Cloudera Manager数据库 Cloudera Manager Server包含一个可以为自己创建和配置数据库的脚本.该脚本可以: 创建Cloudera Manager Serv ...

  6. 2.6、CDH 搭建Hadoop在安装(安装CDH和其他软件)

    第6步:安装CDH和其他软件 设置Cloudera Manager数据库后,启动Cloudera Manager Server,然后登录Cloudera Manager Admin Console: ...

  7. 2.1、CDH 搭建Hadoop在安装(为Cloudera Manager配置存储库)

    步骤1:为Cloudera Manager配置存储库 使用包管理工具安装Cloudera Manager yum 对于RHEL兼容系统, zypper对于SLES,和 apt-get对于Ubuntu. ...

  8. 1.5.6、CDH 搭建Hadoop在安装之前(定制安装解决方案---使用Cloudera Manager模板创建CDH群集)

    使用Cloudera Manager模板创建CDH群集 您可以通过从Cloudera Manager管理的现有CDH群集导出群集模板来创建新的CDH群集.然后,您可以修改模板并使用它在新的主机集上创建 ...

  9. 1.5.3、CDH 搭建Hadoop在安装之前(定制安装解决方案---创建群集主机的虚拟映像)

    创建群集主机的虚拟映像 您可以使用预先部署的Cloudera软件创建虚拟机映像,例如PXE启动映像,Amazon AMI和Azure VM映像,这些映像可用于快速启动虚拟机.这些图像使用parcel来 ...

随机推荐

  1. 【Linux】【Jenkins】Jenkins安装和配置等

    Jenkins配置详解: http://lib.csdn.net/article/git/18342 Jenkins介绍 Jenkins是基于Java开发的一种持续集成工具,用于监控持续重复的工作,功 ...

  2. VIM常用的基本操作

    :wq   退出并保存 :q!  退出不保存 :set number  设置行号 查找: 按‘/’,然后输入要查找的字符,Enter.?和/的区别是,一个向前(下)找,一个向后(上).另外,‘*’可以 ...

  3. 输出单个文件中的前 N 个最常出现的英语单词，并将结果输入到文本文件中。程序设计思路。

    将文件内容读取后存入StringBuffer中. 利用函数将段落分割成字符串,按(“,”,“.”,“!”,“空格”,“回车”)分割,然后存入数组中. 遍历数组,并统计每个单词及其出现的次数. 要求出文 ...

  4. pymysql-connect阻塞

    class Connection(object): """ Representation of a socket with a mysql server. The pro ...

  5. spring 之 lazy-init Autowired depends-on

    1 lazy-init lazy-init是延迟初始化的意思. spring中容器都是尽早的创建和配置所有的单例bean,因此当容器在启动时,就会去配置和创建单例bean.  默认情况下 beans ...

  6. Ubuntu 安装微信

    参考:https://blog.csdn.net/deeposcar/article/details/80710843

  7. VC中编译报错：error C2011: 'fd_set' : 'struct' type redefinition

    这是头文件包含顺序的问题,原因与解决办法见下面代码的注释. /* 包含下面这两个头文件时,必须把winsock2.h放在前面 否则编译报错,N多的重定义错误:例如 error C2011: 'fd_s ...

  8. ThreadLoacl 小记

    参考地址: https://www.cnblogs.com/dolphin0520/p/3920407.html ThreadLoacl 本地线程变量 为线程创建一个副本, 一个内部类ThreadLo ...

  9. python 阿狸的进阶之路(9)

    tcp传输: 传输需要ack回应,然后才清空缓存,服务端先起来. tcp流式协议,tcp的Nagle的优化算法,会将时间间隔短,数据量小的打包成一个,然后发送给对方,减少发送的次数. UDP协议: 不 ...

  10. git异常

    1.  SSL certificate problem: self signed certificate 因git默认是ssl方式验证,在采用http请求时,是使用的账号密码方式,因此需要git放行. ...