1.5.3、CDH 搭建Hadoop在安装之前(定制安装解决方案---创建群集主机的虚拟映像)
创建群集主机的虚拟映像
您可以使用预先部署的Cloudera软件创建虚拟机映像,例如PXE启动映像,Amazon AMI和Azure VM映像,这些映像可用于快速启动虚拟机。这些图像使用parcel来安装CDH软件。本主题描述了创建Cloudera Manager主机和工作主机映像的过程以及如何从这些映像实例化主机。
创建预部署的Cloudera Manager主机
- 基于支持的操作系统实例化虚拟机映像(如果使用Amazon Web Services,则为AMI)并启动虚拟机。有关详细信息,请参阅虚拟化环境的文档。
- 安装Cloudera Manager并配置数据库。您可以配置本地或远程数据库。
- 等待Cloudera Manager管理控制台变为活动状态。
- 登录Cloudera Manager管理控制台。
- 下载 Cloudera Manager管理的CDH或其他服务的任何包裹。不要分发或激活包裹。
- 登录Cloudera Manager服务器主机:
- 运行以下命令以停止Cloudera Manager服务:
service cloudera-scm-server stop
- 运行以下命令以禁用自动启动 Cloudera-scm-server 服务:
- RHEL6.x,CentOS 6.x和SUSE:
chkconfig cloudera-scm-server off
- RHEL 7.x / CentOS 7.xx:
systemctl disable cloudera-scm-server.service
- Ubuntu的:
update-rc.d -f cloudera-scm-server remove
- RHEL6.x,CentOS 6.x和SUSE:
- 运行以下命令以停止Cloudera Manager服务:
- 创建Cloudera Manager主机的映像。有关详细信息,请参阅虚拟化环境的文档。
- 如果在远程主机上安装了Cloudera Manager数据库,还要创建数据库主机的映像。注意:确保在创建映像时没有客户端使用远程数据库。
实例化Cloudera Manager映像
- 实例化Cloudera Manager映像。
- 如果Cloudera Manager数据库将托管在远程主机上,则还要实例化数据库主机映像。
- 确保 cloudera-scm-server 通过在Cloudera Manager主机上运行以下命令,服务未运行:
service cloudera-scm-server status
如果它正在运行,请使用以下命令将其停止:
service cloudera-scm-server stop - 在Cloudera Manager主机上,创建一个名为的文件 UUID 在里面/ etc /cloudera-scm-serve 目录。使用以下命令为此文件添加全局唯一标识符:
cat /proc/sys/kernel/random/uuid > /etc/cloudera-scm-server/uuid
此文件的存在通知Cloudera Manager在启动时重新初始化其自己的唯一标识符。
- 运行以下命令以启动Cloudera Manager服务:
service cloudera-scm-server start
- 运行以下命令以启用自动重新启动 cloudera-scm-serve :
- RHEL6.x,CentOS 6.x和SUSE:
chkconfig cloudera-scm-server on
- RHEL 7.x / CentOS 7.xx:
systemctl enable cloudera-scm-server.service
- Ubuntu的:
update-rc.d -f cloudera-scm-server defaults
- RHEL6.x,CentOS 6.x和SUSE:
创建预部署的工作主机
- 基于支持的操作系统实例化虚拟机映像(如果使用Amazon Web Services,则为AMI)并启动虚拟机。有关详细信息,请参阅虚拟化环境的文档。
- 从公共包存储库或 已创建的存储库下载工作者主机所需的宗地,并将其保存到临时目录。请参阅Cloudera Manager版本和下载信息。
- 从下载包裹的同一位置下载 parcel_name .parcel.sha1 每个包裹的文件。
- 计算并比较下载的宗地的sha1,以确保正确下载了宗地。例如:
sha1sum KAFKA-2.0.2-1.2.0.2.p0.5-el6.parcel | awk'{print $ 1}'> KAFKA-2.0.2-1.2.0.2.p0.5-el6.parcel.sha diff KAFKA-2.0.2-1.2.0.2.p0.5-el6.parcel.sha1 KAFKA-2.0 .2-1.2.0.2.p0.5-el6.parcel.sha
- 打开包裹的包装:
- 创建以下目录:
- /opt/cloudera/parcels
- /opt/cloudera/parcel-cache
- 设置刚刚创建的两个目录的所有权,以便它们由Cloudera Manager代理运行的用户名拥有。
- 使用以下命令设置每个目录的权限:
sudo chmod 755 <directory>
请注意,这些目录的内容将公开,并且可以安全地标记为世界可读的。
- 作为运行Cloudera Manager代理的同一用户运行,使用以下命令从临时目录中提取parcel的内容:
tar -zxvf <parcel> -C / opt / cloudera / parcels /
- 从每个宗地的产品名称添加符号链接到 /opt/cloudera/parcels目录。
例如,要链接 /opt/cloudera/parcels/CDH-5.14.0-1.cdh5.14.0.p0.24 至 / opt / cloudera / parcels /CDH,使用以下命令:sudo ln -s /opt/cloudera/parcels/CDH-5.14.0-1.cdh5.14.0.p0.24 /opt/cloudera/parcels/CDH
- 在启动时通过添加a来标记Cloudera Manager代理不会删除宗地 .dont_delete 标记文件(此文件没有内容)到每个子目录 /opt/cloudera/parcels目录。例如:
touch /opt/cloudera/parcels/CDH/.dont_delete
- 创建以下目录:
ls -l / opt / cloudera / parcels / <parcel>
ls -al / opt / cloudera / parcels / CDH
drwxr-xr-x 9 root root 4096 Sep 14 14:53 .
drwxr-xr-x 9 root root 4096 Sep 14 06:34 ..
drwxr-xr-x 2 root root 4096 Sep 12 06:39 bin
-rw-r--r-- 1 root root 0 Sep 14 14:53 .dont_delete
drwxr-xr-x 26 root root 4096 Sep 12 05:10 etc
drwxr-xr-x 4 root root 4096 Sep 12 05:04 include
drwxr-xr-x 2 root root 69632 Sep 12 06:44 jars
drwxr-xr-x 37 root root 4096 Sep 12 06:39 lib
drwxr-xr-x 2 root root 4096 Sep 12 06:39 meta
drwxr-xr-x 5 root root 4096 Sep 12 06:39 share
- 安装Cloudera Manager代理。如果您还没有这样做,请执行步骤1:为Cloudera Manager配置存储库。
- 创建工作主机的映像。有关详细信息,请参阅虚拟化环境的文档。
实例化工作者主机
- 实例化Cloudera工作者主机映像。
- 编辑以下文件并设置 SERVER_HOST 和 服务器端口 用于引用Cloudera Manager服务器主机的属性。
- 如有必要,请执行其他步骤以配置TLS / SSL。请参阅为Cloudera Manager配置TLS加密。
- 启动代理服务:
sudo service cloudera-scm-agent start
1.5.3、CDH 搭建Hadoop在安装之前(定制安装解决方案---创建群集主机的虚拟映像)的更多相关文章
- 使用Windows Azure的VM安装和配置CDH搭建Hadoop集群
本文主要内容是使用Windows Azure的VIRTUAL MACHINES和NETWORKS服务安装CDH (Cloudera Distribution Including Apache Hado ...
- 2.2、CDH 搭建Hadoop在安装(安装Java Development Kit)
第2步:安装Java Development Kit 要安装Oracle JDK,您可以使用Cloudera Manager安装Cloudera提供的版本,也可以直接安装Oracle的其他版本. 继续 ...
- 1.5.7、CDH 搭建Hadoop在安装之前(定制安装解决方案---配置单用户模式)
配置单用户模式 在传统的Cloudera Manager部署中,管理每台主机上的Hadoop进程的Cloudera Manager Agent以root用户身份运行.但是,某些环境会限制对root帐户 ...
- 1.4、CDH 搭建Hadoop在安装之前(推荐的群集主机和角色分配)
推荐的群集主机和角色分配 要点:本主题描述了Cloudera Manager管理的CDH群集的建议角色分配.您为部署选择的实际分配可能会有所不同,具体取决于工作负载的类型和数量,群集中部署的服务,硬件 ...
- 2.7、CDH 搭建Hadoop在安装(使用向导设置群集)
步骤7:使用向导设置群集 完成“ 群集安装”向导后,“ 群集设置”向导将自动启动.以下部分将指导您完成向导的每个页面: 选择服务 分配角色 设置数据库 查看更改 首次运行命令 恭喜! 选择服务 “ 选 ...
- 2.5、CDH 搭建Hadoop在安装(设置Cloudera Manager数据库)
步骤5:设置Cloudera Manager数据库 Cloudera Manager Server包含一个可以为自己创建和配置数据库的脚本.该脚本可以: 创建Cloudera Manager Serv ...
- 2.6、CDH 搭建Hadoop在安装(安装CDH和其他软件)
第6步:安装CDH和其他软件 设置Cloudera Manager数据库后,启动Cloudera Manager Server,然后登录Cloudera Manager Admin Console: ...
- 2.1、CDH 搭建Hadoop在安装(为Cloudera Manager配置存储库)
步骤1:为Cloudera Manager配置存储库 使用包管理工具安装Cloudera Manager yum 对于RHEL兼容系统, zypper对于SLES,和 apt-get对于Ubuntu. ...
- 1.5.6、CDH 搭建Hadoop在安装之前(定制安装解决方案---使用Cloudera Manager模板创建CDH群集)
使用Cloudera Manager模板创建CDH群集 您可以通过从Cloudera Manager管理的现有CDH群集导出群集模板来创建新的CDH群集.然后,您可以修改模板并使用它在新的主机集上创建 ...
随机推荐
- java中的Map
Java8增强的Map集合 Map接口中定义了如下常用的方法. void clear():删除该Map对象中的所有key-value对. boolean containsKey(Object key) ...
- 下雨天,适合学「Spring Boot」
北方的闷热,让不少小伙伴盼着下雨,前几天北京下了场大雨,杭州也紧跟这下了场雨,就在昨天原本还很闷热的天,突然就飘泼大雨了.今天也断断续续的下着小雨,一觉醒来已经是10点了.有句话说:懒惰是人的天性 ...
- Linux NTP
1.Server 2.QuickStart last 1.Server 0.cn.pool.ntp.org 1.cn.pool.ntp.org 2.cn.pool.ntp.org 3.cn.pool. ...
- HashMap扩容机制
1.什么是resize: resize就是重新计算容量:当我们不断的向HashMap对象里不停的添加元素时,HashMap对象内部的数组就会出现无法装载更多的元素,这是对象就需要扩大数组的长度,以便能 ...
- Java并发编程:Java Thread方法join的简单总结
虽然关于讨论线程join方法的博客已经很多了,不过个人感觉挺多都讨论得不够全面,所以我觉得有必要对其进行一个全面的总结. 一.作用 Thread类中的join方法的主要作用就是同步,它可以使得线程之间 ...
- html调用html的方法
html调用html的方法 html中引入调用另一个html的方法,尝试了好几种,都列出来: 其中第一种是最好的,其他的方法,可以尝试看看,是不是适合你当前项目 一.div+$(“#page1”).l ...
- 《算法》BEYOND 部分程序 part 3
▶ 书中第六章部分程序,加上自己补充的代码,包括 Graham 扫描生成凸包,计算最远点对 ● Graham 扫描生成凸包 package package01; import java.util.Ar ...
- 白鹭引擎 - 碰撞检测 ( hitTestPoint )
1, 矩形碰撞检测 class Main extends egret.DisplayObjectContainer { /** * Main 类构造器, 初始化的时候自动执行, ( 子类的构造函数必须 ...
- kubectl version报did you specify the right host or port
现象: [root@localhost shell]# kubectl version Client Version: version.Info{Major:", GitVersion:&q ...
- 微信小程序request请求封装
var app = getApp(); function request(url,postData,doSuccess,doFail,doComplete){ var host = getApp(). ...