(转)Installing Cloudera Manager and CDH
转:https://blog.csdn.net/qq_26222859/article/details/79976506
译自官网: Installing Cloudera Manager and CDH
本节介绍安装Cloudera Manager,CDH和托管服务(英文术语为management service)的选项。托管服务的选项有2种:托管部署和非托管部署,对应的英文术语为cloudera manager deployment和unmanaged deployment。你可以安装:
- 使用Cloudera Manager deployment安装Cloudera Manager,CDH和management service,是安装CDH和托管服务的推荐方法。
- 使用非托管部署。
Cloudera Manager Deployment
Cloudera Manager deployment由以下软件组件组成:
- Oracle JDK
- Cloudera Manager Server and Agent packages
- Supporting database software
- CDH and managed service software
本节介绍创建一个新的Cloudera Manager deployment的三个主要安装路径以及选择安装路径的条件。 如果您的集群已经安装了Cloudera Manager的先前版本,请按照 Cloudera Upgrade Overview进行操作。
重点:如果您打算以高可用性配置部署Cloudera Manager,请在开始安装之前参阅Configuring Cloudera Manager for High Availability With a Load Balancer
这三个Cloudera Manager安装路径既有相同,也有不同,不同的部分支持不同的用户和群集主机要求:
非生产部署
安装路径A - Cloudera Manager自动安装(非生产模式) - Cloudera Manager在集群主机上自动安装Oracle JDK,Cloudera Manager Server,嵌入式PostgreSQL数据库,Cloudera Manager Agent,CDH和托管服务软件。 Cloudera Manager还为Cloudera Manager Server和Hive Metastore以及可选的Cloudera Management Service角色配置数据库。 建议将此路径用于演示和概念证明部署,但不推荐用于生产部署,因为它不打算扩展,并且可能需要在群集增长时进行数据库迁移。 要使用此方法,服务器和群集主机必须满足以下要求:
- 提供使用root帐户或具有无密码sudo权限的帐户登录到Cloudera Manager Server主机的功能。
- 允许Cloudera Manager Server主机在所有主机的同一端口上进行统一的SSH访问。 有关更多信息,请参阅 CDH and Cloudera Manager Networking and Security Requirements。
- 所有主机必须有权访问标准软件包存储库以及archive.cloudera.com或具有所需安装文件的本地存储库。
安装路径B - 使用Cloudera Manager包或软件包进行安装 - 您可以在Cloudera Manager Server主机上安装Oracle JDK,Cloudera Manager Server和嵌入式PostgreSQL数据库包。 在集群主机上安装Oracle JDK,Cloudera Manager Agent,CDH和托管服务软件有两种选择:手动安装它或使用Cloudera Manager自动安装。
为了让Cloudera Manager自动安装Cloudera Manager Agent软件包或CDH和托管服务软件,群集主机必须满足以下要求:
- 允许Cloudera Manager Server主机在所有主机的同一端口上进行统一的SSH访问。 有关更多信息,请参阅 CDH and Cloudera Manager Networking and Security Requirements。
- 所有主机必须有权访问标准软件包存储库以及archive.cloudera.com或具有所需安装文件的本地存储库。
以上是非生产部署,下面我们看看生产部署
生产部署
生产部署 - 需要您先为Cloudera Manager Server和Hive Metastore手动安装和配置生产数据库。 有安装路径B和安装路径C两个安装选项:
安装路径B - 使用Cloudera Manager包或软件包进行安装 - 您可以在Cloudera Manager Server主机上安装Oracle JDK和Cloudera Manager Server软件包。 在集群主机上安装Oracle JDK,Cloudera Manager Agent,CDH和托管服务软件有两种选择:手动安装它或使用Cloudera Manager自动安装。
为了让Cloudera Manager自动安装Cloudera Manager Agent软件包或CDH和托管服务软件,群集主机必须满足以下要求:
- 允许Cloudera Manager Server主机在所有主机的同一端口上进行统一的SSH访问。 有关更多信息,请参阅 CDH and Cloudera Manager Networking and Security Requirements。
- 所有主机必须有权访问标准软件包存储库以及archive.cloudera.com或具有所需安装文件的本地存储库。
安装路径C - 使用Cloudera Manager Tarballs手动安装 - 使用tarball安装Oracle JDK,Cloudera Manager Server和Cloudera Manager Agent软件,并使用Cloudera Manager将CDH和托管服务软件作为包裹进行自动安装。
重点:Cloudera不支持在Docker容器中使用主机进行CDH集群部署。
Cloudera Manager 安装阶段
下表介绍了安装Cloudera Manager和Cloudera Manager部署CDH和托管服务的阶段。 每个阶段都是必需的,但您可以通过多种方式完成每个阶段,具体取决于你自身的组织决策和要求。 根据Cloudera Manager Server和群集主机上Cloudera Manager Server和数据库软件的安装方式,这六个阶段分为三个安装路径。 上文已经介绍了选择安装路径A、B、C的标准。
Phase | |||
---|---|---|---|
Phase 1: Install JDK
Install the JDK required by Cloudera Manager Server, Management Service, and CDH. |
有两种选择:
|
||
Phase 2: Set up Databases
Install, configure, and start the databases that are required by the Cloudera Manager Server, Cloudera Management Service, and that are optional for some CDH services. |
有两种选择:
|
||
Path A | Path B | Path C | |
Phase 3: Install Cloudera Manager Server
Install and start Cloudera Manager Server on one host. |
使用Cloudera Manager安装程序安装其软件包和服务器。 在主机上需要Internet访问权限和sudo权限。 | 使用Linux软件包安装命令(如yum)来安装Cloudera Manager Server。 更新数据库属性。 使用service命令启动Cloudera Manager Server。 |
使用Linux命令解压tar包(tar包英文术语为tarball)和service命令启动服务器。 |
Phase 4: Install Cloudera Manager Agents
Install and start the Cloudera Manager Agent on all hosts. |
使用Cloudera Manager安装向导在所有主机上安装代理。 | 有两种选择:
|
使用Linux命令解压tar包和service命令以启动服务器。 |
Phase 5: Install CDH and Managed Service software
Install, configure, and start CDH and managed services on all hosts. |
使用Cloudera Manager安装向导安装CDH和其他托管服务。 | 有两种选择:
|
使用Linux命令解压缩tar包和service命令在所有主机上启动CDH和托管服务。 |
Phase 6: Create, Configure and Start CDH and Managed Services
Configure and start CDH and managed services. |
使用Cloudera Manager安装向导安装CDH和其他托管服务,为主机分配角色并配置群集。 许多配置都是自动的。 | 使用Cloudera Manager安装向导安装CDH和其他托管服务,为主机分配角色并配置群集。 许多配置都是自动的。 | 使用Cloudera Manager安装向导安装CDH和其他托管服务,为主机分配角色并配置群集。 许多配置都是自动的。 您还可以使用Cloudera Manager API来管理群集,这对编写预配置的部署脚本很有用。 |
Cloudera Manager 安装的软件
Clouera Manager在受支持的安装路径下提供了如下软件:
安装路径A(非生产) - 一个小型自行执行的Cloudera Manager安装程序,用于安装Cloudera Manager Server和其他软件包。 Cloudera Manager安装程序执行以下操作:
- 安装Cloudera Manager和Oracle Java Development Kit(JDK)的软件包存储库。
- 安装Cloudera Manager软件包。
- 安装和配置嵌入式PostgreSQL数据库(嵌入式英文术语为embedded),以供Cloudera Manager Server,某些Cloudera Management Service角色,某些托管服务和Cloudera Navigator角色使用。
重点:path A仅用于演示和概念验证部署。 不要在生产环境中使用这种安装方法。
安装路径B和C - Cloudera Manager软件包存储库,用于手动安装Cloudera Manager Server,代理和嵌入式数据库软件包。
安装路径B - 用于自动安装Cloudera Manager Agent软件包的Cloudera Manager安装向导。
所有安装路径 - 用于在群集主机上自动执行CDH和受管服务安装和配置的Cloudera Manager安装向导。 Cloudera Manager提供了两种安装CDH和托管服务的方法:parcels和packages。 Parcels简化了安装过程,并允许您从Cloudera Manager内下载,分发和激活新版本的CDH和托管服务。 首次安装Cloudera Manager并连接到Cloudera Manager Admin Console后,请使用Cloudera Manager安装向导执行以下操作:
- 发现集群主机。
- (可选)安装Oracle JDK。
- (可选)在群集主机上安装CDH,托管服务和Cloudera Manager Agent软件。
- 选择服务。
- 将服务角色映射到主机。
- 编辑服务配置。
- 启动服务。
如果您中止软件安装过程,安装向导将自动恢复并回滚任何未安装完成的组件的安装过程。 (已在主机上成功完成的安装不会在该主机上回滚。)
安装路径:
Unmanaged Deployment
在不受Cloudera Manager管理的部署中,您负责管理每个主机上CDH和托管服务组件的生命周期的所有阶段:安装,配置和服务生命周期操作,例如启动和停止。 本节介绍在非托管部署中安装CDH 5软件的替代方法。
1. 命令行方法:
- 下载并安装CDH 5“一键安装”软件包
- 添加CDH 5存储库
- 构建您自己的CDH 5存储库
2. tarball:
您可以从 CDH downloads下载tarball。 牢记以下几点:
- 从tarball安装CDH 5将安装YARN。
- 在CDH 5中,MRv1没有单独的tarball。 相反,MRv1二进制文件,示例等在Hadoop tarball中提供。 用于运行MRv1的脚本位于tarball中的bin-mapreduce1目录中,MRv1示例位于 examples-mapreduce1目录中。
有关每个选项的详细说明,请参阅 Installing and Deploying CDH Using the Command Line。
(转)Installing Cloudera Manager and CDH的更多相关文章
- Cloudera Manager、CDH零基础入门、线路指导 http://www.aboutyun.com/thread-9219-1-1.html (出处: about云开发)
Cloudera Manager.CDH零基础入门.线路指导http://www.aboutyun.com/thread-9219-1-1.html(出处: about云开发) 问题导读:1.什么是c ...
- Cloudera Manager及CDH最新版本安装全程记录
大家都知道,Apache Hadoop的配置很繁琐,而且很零散,为此Cloudera公司提供了Clouder Manager工具,而且还封装了Apache Hadoop,flume,spark,hiv ...
- 2、CDH 搭建Hadoop在安装(安装Cloudera Manager,CDH和托管服务)
安装Cloudera Manager,CDH和托管服务 建议使用此过程为生产环境安装Cloudera Manager和CDH.对于非生产“易于安装”,请参阅安装概念证明群集. 在开始安装之前,请确保已 ...
- 通过Cloudera Manager安装CDH 5.6
CDH的简介 大家常常说CDH.其全称是:Cloudera's Distribution Including Apache Hadoop.简单的说是Cloudera公司的Hadoop平台,是在Apac ...
- Cloudera Manager 和 CDH 4 终极安装
转载请注明出处:http://www.cnblogs.com/thinkCoding/p/3567408.html 系统环境 操作系统:CentOS 6.5 Cloudera Manager 版本:4 ...
- cloudera manager 及CDH卸载
记录用户数据路径 删除用户数据 中列出的用户数据路径 /var/lib/flume-ng /var/lib/hadoop* /var/lib/hue /var/lib/navigator /var/l ...
- Cloudera Manager Server CDH 5.15部署
安装前准备 主机和系统 Host OS Memory IP bigdata001-dev Cent OS 7.4 x64 32G 192.168.1.1 bigdata002-dev Cent OS ...
- CentOS 7下Cloudera Manager及CDH 6.0.1安装过程详解
目录 一.概念介绍 1.CDH 概览 2.Cloudera Manager 概览 二.环境准备 1.软件版本选择 2.节点准备(四个节点) 3.配置主机名和hosts解析(所有节点) 4.关闭防火墙 ...
- Cloudera Manager和CDH版本的对应关系
来源:https://www.cloudera.com/documentation/enterprise/release-notes/topics/rn_consolidated_pcm.html#c ...
随机推荐
- 【ABAP系列】SAP ABAP实现发送外部邮件(添加附件)功能
公众号:SAP Technical 本文作者:matinal 原文出处:http://www.cnblogs.com/SAPmatinal/ 原文链接:[MM系列]SAP ABAP实现发送外部邮件(添 ...
- python nginx+uwsgi+WSGI 处理请求详解
https://blog.csdn.net/a519640026/article/details/76157976 请求从 Nginx 到 uwsgi 到 django 交互概览 作为python w ...
- 关于fork
关于fork 之前和同学讨论了一个关于fork的问题,之前自己也是稍微看过一点,但是具体的也不是太了解,这样还是很不好的. 具体的问题来源于一个面试题,大概是问 fork||fork操作会生成几个新的 ...
- [2019杭电多校第五场][hdu6624]fraction
题目链接:http://acm.hdu.edu.cn/showproblem.php?pid=6624 题意为求最小的b满足$a*b^{-1}\equiv x(modp)$. 把式子化简一下: $a\ ...
- AcWing 831. KMP字符串(模板)
给定一个模式串S,以及一个模板串P,所有字符串中只包含大小写英文字母以及阿拉伯数字. 模板串P在模式串S中多次作为子串出现. 求出模板串P在模式串S中所有出现的位置的起始下标. 输入格式 第一行输入整 ...
- Java8 HashMap详解(转)
Java8 对 HashMap 进行了一些修改,最大的不同就是利用了红黑树,所以其由 数组+链表+红黑树 组成. 根据 Java7 HashMap 的介绍,我们知道,查找的时候,根据 hash 值我们 ...
- 修复线上bug
1,git branch new_branch 2,git push origin new_branch 以上是线上地址操作,以下是本地仓库操作 3,git fetch 4,git checkout ...
- C#传特定的值,获得特定的数组排序
一,在实际业务中,我们会有当我们传任何值进来时,我们要有特定的排序,,比如传进来的是"生物", "历史","化学", 但实际上我们需要的是& ...
- k3 cloud列表中出现很多空白
解决办法:找到单据体:过滤面板默认隐藏打勾
- 只要三步,你就可以在github上发布网站了
今天,看到github推送了一个新的消息,Publishing with GitHub Pages, now as easy as 1, 2, 3.总结起来就是在github将你的文档或者发布网页将会 ...