转:https://blog.csdn.net/qq_26222859/article/details/79976506

译自官网: Installing Cloudera Manager and CDH

本节介绍安装Cloudera Manager,CDH和托管服务(英文术语为management service)的选项。托管服务的选项有2种:托管部署和非托管部署,对应的英文术语为cloudera manager deployment和unmanaged deployment。你可以安装:

  • 使用Cloudera Manager deployment安装Cloudera Manager,CDH和management service,是安装CDH和托管服务的推荐方法。
  • 使用非托管部署。

Cloudera Manager Deployment

Cloudera Manager deployment由以下软件组件组成:

  • Oracle JDK
  • Cloudera Manager Server and Agent packages
  • Supporting database software
  • CDH and managed service software

本节介绍创建一个新的Cloudera Manager deployment的三个主要安装路径以及选择安装路径的条件。 如果您的集群已经安装了Cloudera Manager的先前版本,请按照 Cloudera Upgrade Overview进行操作。

重点:如果您打算以高可用性配置部署Cloudera Manager,请在开始安装之前参阅Configuring Cloudera Manager for High Availability With a Load Balancer

这三个Cloudera Manager安装路径既有相同,也有不同,不同的部分支持不同的用户和群集主机要求:

非生产部署

安装路径A - Cloudera Manager自动安装(非生产模式) - Cloudera Manager在集群主机上自动安装Oracle JDK,Cloudera Manager Server,嵌入式PostgreSQL数据库,Cloudera Manager Agent,CDH和托管服务软件。 Cloudera Manager还为Cloudera Manager Server和Hive Metastore以及可选的Cloudera Management Service角色配置数据库。 建议将此路径用于演示和概念证明部署,但不推荐用于生产部署,因为它不打算扩展,并且可能需要在群集增长时进行数据库迁移。 要使用此方法,服务器和群集主机必须满足以下要求:

  • 提供使用root帐户或具有无密码sudo权限的帐户登录到Cloudera Manager Server主机的功能。
  • 允许Cloudera Manager Server主机在所有主机的同一端口上进行统一的SSH访问。 有关更多信息,请参阅 CDH and Cloudera Manager Networking and Security Requirements
  • 所有主机必须有权访问标准软件包存储库以及archive.cloudera.com或具有所需安装文件的本地存储库。

安装路径B - 使用Cloudera Manager包或软件包进行安装 - 您可以在Cloudera Manager Server主机上安装Oracle JDK,Cloudera Manager Server和嵌入式PostgreSQL数据库包。 在集群主机上安装Oracle JDK,Cloudera Manager Agent,CDH和托管服务软件有两种选择:手动安装它或使用Cloudera Manager自动安装。

为了让Cloudera Manager自动安装Cloudera Manager Agent软件包或CDH和托管服务软件,群集主机必须满足以下要求:

  • 允许Cloudera Manager Server主机在所有主机的同一端口上进行统一的SSH访问。 有关更多信息,请参阅 CDH and Cloudera Manager Networking and Security Requirements
  • 所有主机必须有权访问标准软件包存储库以及archive.cloudera.com或具有所需安装文件的本地存储库。

以上是非生产部署,下面我们看看生产部署

生产部署

生产部署 - 需要您先为Cloudera Manager Server和Hive Metastore手动安装和配置生产数据库。 有安装路径B和安装路径C两个安装选项:

安装路径B - 使用Cloudera Manager包或软件包进行安装 - 您可以在Cloudera Manager Server主机上安装Oracle JDK和Cloudera Manager Server软件包。 在集群主机上安装Oracle JDK,Cloudera Manager Agent,CDH和托管服务软件有两种选择:手动安装它或使用Cloudera Manager自动安装。

为了让Cloudera Manager自动安装Cloudera Manager Agent软件包或CDH和托管服务软件,群集主机必须满足以下要求:

  • 允许Cloudera Manager Server主机在所有主机的同一端口上进行统一的SSH访问。 有关更多信息,请参阅 CDH and Cloudera Manager Networking and Security Requirements
  • 所有主机必须有权访问标准软件包存储库以及archive.cloudera.com或具有所需安装文件的本地存储库。

安装路径C - 使用Cloudera Manager Tarballs手动安装 - 使用tarball安装Oracle JDK,Cloudera Manager Server和Cloudera Manager Agent软件,并使用Cloudera Manager将CDH和托管服务软件作为包裹进行自动安装。

重点:Cloudera不支持在Docker容器中使用主机进行CDH集群部署。

Cloudera Manager 安装阶段

下表介绍了安装Cloudera Manager和Cloudera Manager部署CDH和托管服务的阶段。 每个阶段都是必需的,但您可以通过多种方式完成每个阶段,具体取决于你自身的组织决策和要求。 根据Cloudera Manager Server和群集主机上Cloudera Manager Server和数据库软件的安装方式,这六个阶段分为三个安装路径。 上文已经介绍了选择安装路径A、B、C的标准。

Cloudera Installation Phases
Phase      
Phase 1: Install JDK

Install the JDK required by Cloudera Manager Server, Management Service, and CDH.

有两种选择:

  • 使用Cloudera Manager安装程序在/ usr / java中以及群集中的所有主机上安装支持的Oracle JDK版本。
  • 使用命令行手动安装受支持的Oracle JDK版本,并将JAVA_HOME环境变量设置为所有主机上的安装目录。
Phase 2: Set up Databases

Install, configure, and start the databases that are required by the Cloudera Manager Server, Cloudera Management Service, and that are optional for some CDH services.

有两种选择:

  • 使用Cloudera Manager安装程序来安装,配置和启动嵌入式PostgresSQL数据库。
  • 使用像yum这样的命令行包安装工具来安装,配置和安装数据库
  Path A Path B Path C
Phase 3: Install Cloudera Manager Server

Install and start Cloudera Manager Server on one host.

使用Cloudera Manager安装程序安装其软件包和服务器。 在主机上需要Internet访问权限和sudo权限。 使用Linux软件包安装命令(如yum)来安装Cloudera Manager Server。
更新数据库属性。

使用service命令启动Cloudera Manager Server。

使用Linux命令解压tar包(tar包英文术语为tarball)和service命令启动服务器。
Phase 4: Install Cloudera Manager Agents

Install and start the Cloudera Manager Agent on all hosts.

使用Cloudera Manager安装向导在所有主机上安装代理。 有两种选择:

  • 使用Linux软件包安装命令(如yum)在所有主机上安装Cloudera Manager Agent。
  • 使用Cloudera Manager安装向导在所有主机上安装代理。
使用Linux命令解压tar包和service命令以启动服务器。
Phase 5: Install CDH and Managed Service software

Install, configure, and start CDH and managed services on all hosts.

使用Cloudera Manager安装向导安装CDH和其他托管服务。 有两种选择:

  • 使用Cloudera Manager安装向导安装CDH和其他托管服务。
  • 使用Linux软件包安装命令(如yum)在所有主机上安装CDH和其他托管服务。
使用Linux命令解压缩tar包和service命令在所有主机上启动CDH和托管服务。
Phase 6: Create, Configure and Start CDH and Managed Services

Configure and start CDH and managed services.

使用Cloudera Manager安装向导安装CDH和其他托管服务,为主机分配角色并配置群集。 许多配置都是自动的。 使用Cloudera Manager安装向导安装CDH和其他托管服务,为主机分配角色并配置群集。 许多配置都是自动的。 使用Cloudera Manager安装向导安装CDH和其他托管服务,为主机分配角色并配置群集。 许多配置都是自动的。
您还可以使用Cloudera Manager API来管理群集,这对编写预配置的部署脚本很有用。

Cloudera Manager 安装的软件

Clouera Manager在受支持的安装路径下提供了如下软件:

安装路径A(非生产) - 一个小型自行执行的Cloudera Manager安装程序,用于安装Cloudera Manager Server和其他软件包。 Cloudera Manager安装程序执行以下操作:

  • 安装Cloudera Manager和Oracle Java Development Kit(JDK)的软件包存储库。
  • 安装Cloudera Manager软件包。
  • 安装和配置嵌入式PostgreSQL数据库(嵌入式英文术语为embedded),以供Cloudera Manager Server,某些Cloudera Management Service角色,某些托管服务和Cloudera Navigator角色使用。

重点:path A仅用于演示和概念验证部署。 不要在生产环境中使用这种安装方法。

安装路径B和C - Cloudera Manager软件包存储库,用于手动安装Cloudera Manager Server,代理和嵌入式数据库软件包。

安装路径B - 用于自动安装Cloudera Manager Agent软件包的Cloudera Manager安装向导。

所有安装路径 - 用于在群集主机上自动执行CDH和受管服务安装和配置的Cloudera Manager安装向导。 Cloudera Manager提供了两种安装CDH和托管服务的方法:parcels和packages。 Parcels简化了安装过程,并允许您从Cloudera Manager内下载,分发和激活新版本的CDH和托管服务。 首次安装Cloudera Manager并连接到Cloudera Manager Admin Console后,请使用Cloudera Manager安装向导执行以下操作:

  • 发现集群主机。
  • (可选)安装Oracle JDK。
  • (可选)在群集主机上安装CDH,托管服务和Cloudera Manager Agent软件。
  • 选择服务。
  • 将服务角色映射到主机。
  • 编辑服务配置。
  • 启动服务。

如果您中止软件安装过程,安装向导将自动恢复并回滚任何未安装完成的组件的安装过程。 (已在主机上成功完成的安装不会在该主机上回滚。)

安装路径:

Unmanaged Deployment

在不受Cloudera Manager管理的部署中,您负责管理每个主机上CDH和托管服务组件的生命周期的所有阶段:安装,配置和服务生命周期操作,例如启动和停止。 本节介绍在非托管部署中安装CDH 5软件的替代方法。

1. 命令行方法:

  • 下载并安装CDH 5“一键安装”软件包
  • 添加CDH 5存储库
  • 构建您自己的CDH 5存储库

2. tarball:

您可以从 CDH downloads下载tarball。 牢记以下几点:

  • 从tarball安装CDH 5将安装YARN。
  • 在CDH 5中,MRv1没有单独的tarball。 相反,MRv1二进制文件,示例等在Hadoop tarball中提供。 用于运行MRv1的脚本位于tarball中的bin-mapreduce1目录中,MRv1示例位于 examples-mapreduce1目录中。

有关每个选项的详细说明,请参阅 Installing and Deploying CDH Using the Command Line

(转)Installing Cloudera Manager and CDH的更多相关文章

  1. Cloudera Manager、CDH零基础入门、线路指导 http://www.aboutyun.com/thread-9219-1-1.html (出处: about云开发)

    Cloudera Manager.CDH零基础入门.线路指导http://www.aboutyun.com/thread-9219-1-1.html(出处: about云开发) 问题导读:1.什么是c ...

  2. Cloudera Manager及CDH最新版本安装全程记录

    大家都知道,Apache Hadoop的配置很繁琐,而且很零散,为此Cloudera公司提供了Clouder Manager工具,而且还封装了Apache Hadoop,flume,spark,hiv ...

  3. 2、CDH 搭建Hadoop在安装(安装Cloudera Manager,CDH和托管服务)

    安装Cloudera Manager,CDH和托管服务 建议使用此过程为生产环境安装Cloudera Manager和CDH.对于非生产“易于安装”,请参阅安装概念证明群集. 在开始安装之前,请确保已 ...

  4. 通过Cloudera Manager安装CDH 5.6

    CDH的简介 大家常常说CDH.其全称是:Cloudera's Distribution Including Apache Hadoop.简单的说是Cloudera公司的Hadoop平台,是在Apac ...

  5. Cloudera Manager 和 CDH 4 终极安装

    转载请注明出处:http://www.cnblogs.com/thinkCoding/p/3567408.html 系统环境 操作系统:CentOS 6.5 Cloudera Manager 版本:4 ...

  6. cloudera manager 及CDH卸载

    记录用户数据路径 删除用户数据 中列出的用户数据路径 /var/lib/flume-ng /var/lib/hadoop* /var/lib/hue /var/lib/navigator /var/l ...

  7. Cloudera Manager Server CDH 5.15部署

    安装前准备 主机和系统 Host OS Memory IP bigdata001-dev Cent OS 7.4 x64 32G 192.168.1.1 bigdata002-dev Cent OS ...

  8. CentOS 7下Cloudera Manager及CDH 6.0.1安装过程详解

    目录 一.概念介绍 1.CDH 概览 2.Cloudera Manager 概览 二.环境准备 1.软件版本选择 2.节点准备(四个节点) 3.配置主机名和hosts解析(所有节点) 4.关闭防火墙 ...

  9. Cloudera Manager和CDH版本的对应关系

    来源:https://www.cloudera.com/documentation/enterprise/release-notes/topics/rn_consolidated_pcm.html#c ...

随机推荐

  1. 【ABAP系列】SAP ABAP实现发送外部邮件(添加附件)功能

    公众号:SAP Technical 本文作者:matinal 原文出处:http://www.cnblogs.com/SAPmatinal/ 原文链接:[MM系列]SAP ABAP实现发送外部邮件(添 ...

  2. python nginx+uwsgi+WSGI 处理请求详解

    https://blog.csdn.net/a519640026/article/details/76157976 请求从 Nginx 到 uwsgi 到 django 交互概览 作为python w ...

  3. 关于fork

    关于fork 之前和同学讨论了一个关于fork的问题,之前自己也是稍微看过一点,但是具体的也不是太了解,这样还是很不好的. 具体的问题来源于一个面试题,大概是问 fork||fork操作会生成几个新的 ...

  4. [2019杭电多校第五场][hdu6624]fraction

    题目链接:http://acm.hdu.edu.cn/showproblem.php?pid=6624 题意为求最小的b满足$a*b^{-1}\equiv x(modp)$. 把式子化简一下: $a\ ...

  5. AcWing 831. KMP字符串(模板)

    给定一个模式串S,以及一个模板串P,所有字符串中只包含大小写英文字母以及阿拉伯数字. 模板串P在模式串S中多次作为子串出现. 求出模板串P在模式串S中所有出现的位置的起始下标. 输入格式 第一行输入整 ...

  6. Java8 HashMap详解(转)

    Java8 对 HashMap 进行了一些修改,最大的不同就是利用了红黑树,所以其由 数组+链表+红黑树 组成. 根据 Java7 HashMap 的介绍,我们知道,查找的时候,根据 hash 值我们 ...

  7. 修复线上bug

    1,git branch new_branch 2,git push origin new_branch 以上是线上地址操作,以下是本地仓库操作 3,git fetch 4,git checkout ...

  8. C#传特定的值,获得特定的数组排序

    一,在实际业务中,我们会有当我们传任何值进来时,我们要有特定的排序,,比如传进来的是"生物", "历史","化学", 但实际上我们需要的是& ...

  9. k3 cloud列表中出现很多空白

    解决办法:找到单据体:过滤面板默认隐藏打勾

  10. 只要三步,你就可以在github上发布网站了

    今天,看到github推送了一个新的消息,Publishing with GitHub Pages, now as easy as 1, 2, 3.总结起来就是在github将你的文档或者发布网页将会 ...