推荐的群集主机和角色分配

要点：本主题描述了Cloudera Manager管理的CDH群集的建议角色分配。您为部署选择的实际分配可能会有所不同，具体取决于工作负载的类型和数量，群集中部署的服务，硬件资源，配置和其他因素。

使用Cloudera Manager安装向导安装CDH时，Cloudera Manager会尝试根据主机中可用的资源在群集主机（分配给网关主机的角色除外）之间分配角色。您可以在向导中显示的“ 自定义角色分配”页面上更改这些分配。您也可以稍后使用Cloudera Manager更改和添加角色。请参阅角色实例。

如果您的群集使用静态数据加密，请参阅为密钥受托者服务器和密钥受托者KMS分配主机。

有关在何处找到Cloudera Manager和其他服务所需的各种数据库的信息，请参阅步骤4：安装和配置数据库。

CDH群集主机和角色分配

群集主机可以大致描述为以下类型：

  • 主主机运行Hadoop主进程，例如HDFS NameNode和YARN Resource Manager。
  • 实用程序主机运行不是主进程的其他集群进程，例如Cloudera Manager和Hive Metastore。
  • 网关主机是用于在群集中启动作业的客户端访问点。所需的网关主机数量取决于工作负载的类型和大小。
  • 工作者主机主要运行DataNode和其他分布式进程，例如Impalad。

重要提示： Cloudera建议您在生产环境中使用CDH时始终启用高可用性。

3 - 10 Worker Hosts without High Availability

Master Hosts Utility Hosts Gateway Hosts Worker Hosts
Master Host 1:

  • NameNode
  • YARN ResourceManager
  • JobHistory Server
  • ZooKeeper
  • Kudu master
  • Spark History Server
 One host for all Utility and Gateway roles:

  • Secondary NameNode
  • Cloudera Manager
  • Cloudera Manager Management Service
  • Hive Metastore
  • HiveServer2
  • Impala Catalog Server
  • Impala StateStore
  • Hue
  • Oozie
  • Flume
  • Gateway configuration
 3 - 10 Worker Hosts:

  • DataNode
  • NodeManager
  • Impalad
  • Kudu tablet server

3 - 20 Worker Hosts with High Availability

Master Hosts Utility Hosts Gateway Hosts Worker Hosts
Master Host 1:

  • NameNode
  • JournalNode
  • FailoverController
  • YARN ResourceManager
  • ZooKeeper
  • JobHistory Server
  • Spark History Server
  • Kudu master
Master Host 2:

  • NameNode
  • JournalNode
  • FailoverController
  • YARN ResourceManager
  • ZooKeeper
  • Kudu master

Master Host 3:

  • Kudu master (Kudu requires an odd number of masters for HA.)
 Utility Host 1:

  • Cloudera Manager
  • Cloudera Manager Management Service
  • Hive Metastore
  • Impala Catalog Server
  • Impala StateStore
  • Oozie
  • ZooKeeper (requires dedicated disk)
  • JournalNode (requires dedicated disk)
 One or more Gateway Hosts:

  • Hue
  • HiveServer2
  • Flume
  • Gateway configuration
 3 - 20 Worker Hosts:

  • DataNode
  • NodeManager
  • Impalad
  • Kudu tablet server

20 - 80 Worker Hosts with High Availability

Master Hosts Utility Hosts Gateway Hosts Worker Hosts
Master Host 1:

  • NameNode
  • JournalNode
  • FailoverController
  • YARN ResourceManager
  • ZooKeeper
  • Kudu master
Master Host 2:

  • NameNode
  • JournalNode
  • FailoverController
  • YARN ResourceManager
  • ZooKeeper
  • Kudu master
Master Host 3:

  • ZooKeeper
  • JournalNode
  • JobHistory Server
  • Spark History Server
  • Kudu master
Utility Host 1:

  • Cloudera Manager
Utility Host 2:

  • Cloudera Manager Management Service
  • Hive Metastore
  • Impala Catalog Server
  • Oozie
 One or more Gateway Hosts:

  • Hue
  • HiveServer2
  • Flume
  • Gateway configuration
 20 - 80 Worker Hosts:

  • DataNode
  • NodeManager
  • Impalad
  • Kudu tablet server

80 - 200 Worker Hosts with High Availability

Master Hosts Utility Hosts Gateway Hosts Worker Hosts
Master Host 1:

  • NameNode
  • JournalNode
  • FailoverController
  • YARN ResourceManager
  • ZooKeeper
  • Kudu master
Master Host 2:

  • NameNode
  • JournalNode
  • FailoverController
  • YARN ResourceManager
  • ZooKeeper
  • Kudu master
Master Host 3:

  • ZooKeeper
  • JournalNode
  • JobHistory Server
  • Spark History Server
  • Kudu master
Utility Host 1:

  • Cloudera Manager
Utility Host 2:

  • Hive Metastore
  • Impala Catalog Server
  • Impala StateStore
  • Oozie
Utility Host 3:

  • Activity Monitor
Utility Host 4:

  • Host Monitor
Utility Host 5:

  • Navigator Audit Server
Utility Host 6:

  • Navigator Metadata Server
Utility Host 7:

  • Reports Manager
Utility Host 8:

  • Service Monitor
 One or more Gateway Hosts:

  • Hue
  • HiveServer2
  • Flume
  • Gateway configuration
 80 - 200 Worker Hosts:

  • DataNode
  • NodeManager
  • Impalad
  • Kudu tablet server (Recommended maximum number of tablet servers is 100.)

200 - 500 Worker Hosts with High Availability

Master Hosts Utility Hosts Gateway Hosts Worker Hosts
Master Host 1:

  • NameNode
  • JournalNode
  • FailoverController
  • ZooKeeper
  • Kudu master
Master Host 2:

  • NameNode
  • JournalNode
  • FailoverController
  • ZooKeeper
  • Kudu master
Master Host 3:

  • YARN ResourceManager
  • ZooKeeper
  • JournalNode
  • Kudu master
Master Host 4:

  • YARN ResourceManager
  • ZooKeeper
  • JournalNode
Master Host 5:

  • JobHistory Server
  • Spark History Server
  • ZooKeeper
  • JournalNode

We recommend no more than three Kudu masters.
Utility Host 1:

  • Cloudera Manager
Utility Host 2:

  • Hive Metastore
  • Impala Catalog Server
  • Impala StateStore
  • Oozie
Utility Host 3:

  • Activity Monitor
Utility Host 4:

  • Host Monitor
Utility Host 5:

  • Navigator Audit Server
Utility Host 6:

  • Navigator Metadata Server
Utility Host 7:

  • Reports Manager
Utility Host 8:

  • Service Monitor
 One or more Gateway Hosts:

  • Hue
  • HiveServer2
  • Flume
  • Gateway configuration
 200 - 500 Worker Hosts:

  • DataNode
  • NodeManager
  • Impalad
  • Kudu tablet server (Recommended maximum number of tablet servers is 100.)

500 -1000 Worker Hosts with High Availability

Master Hosts
 Utility Hosts Gateway Hosts Worker Hosts
Master Host 1:

  • NameNode
  • JournalNode
  • FailoverController
  • ZooKeeper
  • Kudu master
Master Host 2:

  • NameNode
  • JournalNode
  • FailoverController
  • ZooKeeper
  • Kudu master
Master Host 3:

  • YARN ResourceManager
  • ZooKeeper
  • JournalNode
  • Kudu master
Master Host 4:

  • YARN ResourceManager
  • ZooKeeper
  • JournalNode
Master Host 5:

  • JobHistory Server
  • Spark History Server
  • ZooKeeper
  • JournalNode

We recommend no more than three Kudu masters.
Utility Host 1:

  • Cloudera Manager
Utility Host 2:

  • Hive Metastore
  • Impala Catalog Server
  • Impala StateStore
  • Oozie
Utility Host 3:

  • Activity Monitor
Utility Host 4:

  • Host Monitor
Utility Host 5:

  • Navigator Audit Server
Utility Host 6:

  • Navigator Metadata Server
Utility Host 7:

  • Reports Manager
Utility Host 8:

  • Service Monitor
 One or more Gateway Hosts:

  • Hue
  • HiveServer2
  • Flume
  • Gateway configuration
 500 - 1000 Worker Hosts:

  • DataNode
  • NodeManager
  • Impalad
  • Kudu tablet server (Recommended maximum number of tablet servers is 100.)

为密钥受托者服务器和密钥受托者KMS分配主机

如果要为CDH群集启用静态数据加密，Cloudera建议您通过在Cloudera Manager管理的单独群集中的专用主机上部署密钥受托者服务器，将密钥受托者服务器与其他企业数据中心（EDH）服务隔离开来。Cloudera还建议在与需要访问Key Trustee Server的EDH服务相同的群集中的专用主机上部署Key Trustee KMS。此体系结构允许多个群集共享相同的密钥托管服务器，并避免在重新启动群集时重新启动密钥托管服务器。

有关在EDH中加密静态数据的详细信息，请参阅加密静态数据。

对于一般的生产环境，或者如果您已启用HDFS的高可用性并且正在使用静态数据加密，Cloudera建议您为密钥受托服务器和密钥受托者KMS启用高可用性。

1.4、CDH 搭建Hadoop在安装之前(推荐的群集主机和角色分配)的更多相关文章

  1. 2.7、CDH 搭建Hadoop在安装(使用向导设置群集)

    步骤7:使用向导设置群集 完成“ 群集安装”向导后,“ 群集设置”向导将自动启动.以下部分将指导您完成向导的每个页面: 选择服务 分配角色 设置数据库 查看更改 首次运行命令 恭喜! 选择服务 “ 选 ...

  2. 1、CDH 搭建Hadoop在安装之前(存储空间规划)

    Cloudera Manager的存储空间规划 最低要求角色: 完全管理员 Cloudera Manager跟踪许多后台进程中的服务,作业和应用程序的度量标准.所有这些指标都需要存储.根据组织的大小, ...

  3. 2.2、CDH 搭建Hadoop在安装(安装Java Development Kit)

    第2步:安装Java Development Kit 要安装Oracle JDK,您可以使用Cloudera Manager安装Cloudera提供的版本,也可以直接安装Oracle的其他版本. 继续 ...

  4. 1.5.7、CDH 搭建Hadoop在安装之前(定制安装解决方案---配置单用户模式)

    配置单用户模式 在传统的Cloudera Manager部署中,管理每台主机上的Hadoop进程的Cloudera Manager Agent以root用户身份运行.但是,某些环境会限制对root帐户 ...

  5. 2.5、CDH 搭建Hadoop在安装(设置Cloudera Manager数据库)

    步骤5:设置Cloudera Manager数据库 Cloudera Manager Server包含一个可以为自己创建和配置数据库的脚本.该脚本可以: 创建Cloudera Manager Serv ...

  6. 2.6、CDH 搭建Hadoop在安装(安装CDH和其他软件)

    第6步:安装CDH和其他软件 设置Cloudera Manager数据库后,启动Cloudera Manager Server,然后登录Cloudera Manager Admin Console: ...

  7. 2.1、CDH 搭建Hadoop在安装(为Cloudera Manager配置存储库)

    步骤1:为Cloudera Manager配置存储库 使用包管理工具安装Cloudera Manager yum 对于RHEL兼容系统, zypper对于SLES,和 apt-get对于Ubuntu. ...

  8. 1.5.6、CDH 搭建Hadoop在安装之前(定制安装解决方案---使用Cloudera Manager模板创建CDH群集)

    使用Cloudera Manager模板创建CDH群集 您可以通过从Cloudera Manager管理的现有CDH群集导出群集模板来创建新的CDH群集.然后,您可以修改模板并使用它在新的主机集上创建 ...

  9. 1.5.3、CDH 搭建Hadoop在安装之前(定制安装解决方案---创建群集主机的虚拟映像)

    创建群集主机的虚拟映像 您可以使用预先部署的Cloudera软件创建虚拟机映像,例如PXE启动映像,Amazon AMI和Azure VM映像,这些映像可用于快速启动虚拟机.这些图像使用parcel来 ...

随机推荐

  1. 三种常见的Web安全问题

    XSS漏洞 1.XSS简介 跨站脚本(cross site script)简称为XSS,是一种经常出现在web应用中的计算机安全漏洞,也是web中最主流的攻击方式. XSS是指恶意攻击者利用网站没有对 ...

  2. gentoo moc audacious

    最近想在 gentoo 上面听音乐, 以前用过 audacious,现在想换成 moc 试试看. emerge -av moc,结果安装完了以后,放 mp3 没有声音,把 USE 里面各种相关解码的都 ...

  3. Ruby学习笔记2 ： 一个简单的Ruby网站，搭建ruby环境

    Ruby on Rails website 的基础是 请求-返回 循环. 首先是浏览器请求服务器, 第二步,Second, in our Rails application, the route ta ...

  4. 37. sqlplus工具连接服务端或其他电脑的oracle方式

    1. 方式1:IP:监听端口/实例ID,例如:192.168.0.1:1521/orcl 2.方式2:IP:监听端口/服务名,例如:192.168.0.1:1521/ORCL.168.0.1 查看服务 ...

  5. django 模板context的理解

    context作为view与template之间的桥梁,理解它的工作原理对于djagno的模板工作机制至关重要. class ContextDict(dict):#上下文词典,由词典可以通过conte ...

  6. [Python]实践：实现探测Web服务质量

    来源:Python 自动化运维 技术与最佳实践 HTTP服务是最流行的互联网应用之一,服务质量的好坏关系到用户体验以及网站的运营服务水平,最常用的有两个标准:1.服务的可用性,比是否处于正常提供服务状 ...

  7. centos7.5安装golang

    1.下载 [root@localhost bin]#wget https://dl.google.com/go/go1.10.2.linux-amd64.tar.gz [root@localhost ...

  8. JS 异步分段上传文件

    为了解决大文件上传 (PHP上传最大限制2GB) 同时为了解决文件上传是对服务器造成的压力 可以通过分段上传解决这个问题,这得益于HTML5开发的file API 前台代码: 引用了进度条插件myPr ...

  9. react-native-picker 实现省市区 时间日期组件

    github示例以及详细参数:https://github.com/beefe/react-native-picker 先 安装 link npm install react-native-picke ...

  10. Dubbo 服务容错Hystrix

    一.服务者 1.pom <dependency> <groupId>org.springframework.cloud</groupId> <artifact ...